[논문 리뷰] Randomized Overdrive Neural Networks

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|2020. 10. 08.

Neural Networks and Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 시간 도메인에서 무작위로 초기화된 시간 컨volution 네트워크(TCN)를 사용하여 창의적인 오디오 딜레이션 효과를 생성하는 새로운 방법인 랜덤라이즈드 오버드라이브 신경망(RONN)을 제안한다. 학습 없이도 깊이, 커널 크기, 활성화 함수, 가중치 초기화와 같은 아키텍처 파라미터가 미세한 오버드라이브에서 리버브를 닮은 극단적인 시간 지연까지 다양한 사운드 특성을 직접 결정한다. 이는 네트워크 아키텍처를 완전히 제어할 수 있는 실시간, 상호작용 가능한 VST/AU 플러그인을 통해 가능해지며, 음악가들이 새로운 사운드 영역을 탐색할 수 있도록 한다.

ABSTRACT

By processing audio signals in the time-domain with randomly weighted temporal convolutional networks (TCNs), we uncover a wide range of novel, yet controllable overdrive effects. We discover that architectural aspects, such as the depth of the network, the kernel size, the number of channels, the activation function, as well as the weight initialization, all have a clear impact on the sonic character of the resultant effect, without the need for training. In practice, these effects range from conventional overdrive and distortion, to more extreme effects, as the receptive field grows, similar to a fusion of distortion, equalization, delay, and reverb. To enable use by musicians and producers, we provide a real-time plugin implementation. This allows users to dynamically design networks, listening to the results in real-time. We provide a demonstration and code at https://csteinmetz1.github.io/ronn.

연구 동기 및 목표

• 학습되지 않은 무작위로 초기화된 신경망의 창의적 잠재력을 오디오 신호 처리 분야에서 탐색하기.
• 사용자가 신경망 아키텍처를 조정함으로써 새로운 딜레이션 효과를 설계하고 즉각 청취할 수 있는 실시간, 상호작용 가능한 오디오 플러그인을 개발하기.
• TCN의 아키텍처 선택—예를 들어 깊이, 커널 크기, 활성화 함수—이 모델 학습 없이도 사운드 특성에 직접적인 영향을 미친다는 것을 입증하기.
• 기계 학습 전문 지식이 없는 음악가와 프로듀서들이 직관적이고 동적인 네트워크 파rameterization을 통해 복잡하고 제어 가능한 오디오 효과에 접근할 수 있도록 하기.
• 완전히 컨volution형이며 무작위로 초기화된 네트워크가 전통적인 딜레이션, 딜레이, 리버브 유사 효과와 비교해도 매력적이고 음악적으로 유용한 효과를 생성할 수 있는지 탐구하기.

제안 방법

• 학습 없이도 큰 지각 영역을 지닌 지수적 증가하는 수신 영역을 가능하게 하는 인과적이고 확장된 컨벌루션을 사용한 피드포워드, 완전 컨volution형 시간 컨벌루션 네트워크(TCN)를 활용한다.
• 백프로파게이션 또는 학습 없이 무작위로 초기화된 가중치를 사용하며, 오디오 출력을 결정하는 데는 오직 아키텍처 하이퍼파라미터에 의존한다.
• 실시간 오디오 처리를 위해 파이토치의 C++ API를 사용하여 파rameterized 신경망 모듈을 JUCE 기반의 VST/AU 플러그인에 통합한다.
• 블록 기반 처리 동안 신호의 연속성을 유지하기 위해 룩백 버퍼를 사용하여 프레임 경계에서 인지 가능한 단절이 발생하지 않도록 한다.
• 깊이 분리형 컨벌루션을 통해 계산 효율성을 향상시켜, 큰 지각 영역(최대 4초)을 가진 네트워크에서도 표준 CPU에서 실시간 성능을 확보한다.
• 다중 출력 채널을 허용함으로써 스테레오 출력을 생성하고, 단일 또는 스테레오 입력에서의 채널 간 상호작용을 가능하게 하여 공간화된 효과를 생성한다.

실험 결과

연구 질문

• RQ1 무작위로 초기화되고 학습되지 않은 신경망이 시간 도메인에서 음악적으로 유용하고 제어 가능한 딜레이션 효과를 생성할 수 있는가?
• RQ2 네트워크 깊이, 커널 크기, 활성화 함수, 가중치 초기화와 같은 아키텍처 구성 요소가 생성된 오디오 효과의 사운드 특성에 어떤 영향을 미치는가?
• RQ3 완전히 컨볼루션형이며 학습되지 않은 TCN이 기존의 딜레이션, 딜레이, 리버브 유사 효과를 어느 정도 모방하거나 초월할 수 있는가?
• RQ4 비전문가가 신경망 아키텍처의 다양성을 탐색할 수 있도록 실시간, 상호작용 가능한 플러그인 인터페이스를 설계할 수 있는가?
• RQ5 지각 영역 크기와 확장된 컨벌루션의 영향은 처리된 오디오의 시간적 및 주파수 특성에 어떤 영향을 미치는가?

주요 결과

• 깊이, 커널 크기, 활성화 함수와 같은 아키텍처 파라미터가 출력의 사운드 특성을 직접적이고 제어 가능한 방식으로 결정하며, 전통적인 오버드라이브에서 리버브를 닮은 극단적인 시간 지연에 이르기까지 다양한 효과를 생성한다.
• 시그모이드 활성화 함수는 날카럽고 거친 딜레이션을 생성했고, ReLU 활성화 함수는 퍼즈 유사 효과를 생성하여 비선형성의 형태가 톤의 질감에 상당한 영향을 미친다는 점을 입증한다.
• 가중치 초기화 방법이 딜레이션의 톤 품질에 영향을 미치는 것으로 밝혀져, 무작위 초기화만으로도 청각적으로 구분 가능한 사운드 변형이 발생한다는 점을 시사한다.
• 깊이 분리형 컨벌루션의 사용 덕분에 표준 CPU에서도 지각 영역이 최대 4초에 이르는 네트워크의 실시간 처리가 가능해져, 일반 목적 하드웨어에서도 복잡한 효과를 접근 가능하게 했다.
• 다중 출력 채널을 통한 스테레오 출력 생성이 채널 간 상호작용을 가능하게 하여, 단일 입력에서도 공간화되고 몰입감 있는 오디오 효과를 생성할 수 있었다.
• 전역 시드 제어 기능을 통해 효과의 재현성과 프리셋 저장 기능이 향상되어 음악가와 프로듀서의 사용성에 기여했다.