[논문 리뷰] Linear Time Complexity Deep Fourier Scattering Network and Extension to Nonlinear Invariants

Randall Balestriero, Hervé Glotin|arXiv (Cornell University)|2017. 07. 18.

Image and Signal Denoising Methods참고 문헌 16인용 수 6

한 줄 요약

이 논문은 고차 비선형성과 푸리에 기반 불변성을 통합함으로써 전통적인 산산이 나누어진 네트워크를 확장한 선형 시간 복잡도의 딥 푸리에 산산이 나누어진 네트워크를 제안한다. 이는 푸리에 도메인에서 직접 에너지 효율적인 특징 추출을 가능하게 하며, 학습을 분류기 이외에 수행하지 않고도 새의 노래 분류에서 최고 성능(52.4% MAP)을 달성한다. 희소 행렬 연산과 결정론적, 불변 특징을 활용한다.

ABSTRACT

In this paper we propose a scalable version of a state-of-the-art deterministic time-invariant feature extraction approach based on consecutive changes of basis and nonlinearities, namely, the scattering network. The first focus of the paper is to extend the scattering network to allow the use of higher order nonlinearities as well as extracting nonlinear and Fourier based statistics leading to the required invariants of any inherently structured input. In order to reach fast convolutions and to leverage the intrinsic structure of wavelets, we derive our complete model in the Fourier domain. In addition of providing fast computations, we are now able to exploit sparse matrices due to extremely high sparsity well localized in the Fourier domain. As a result, we are able to reach a true linear time complexity with inputs in the Fourier domain allowing fast and energy efficient solutions to machine learning tasks. Validation of the features and computational results will be presented through the use of these invariant coefficients to perform classification on audio recordings of bird songs captured in multiple different soundscapes. In the end, the applicability of the presented solutions to deep artificial neural networks is discussed.

연구 동기 및 목표

• 오디오 신호와 같은 구조적 입력에 대해 시간 불변성과 강건성을 확보하면서도 확장 가능한 결정론적 특징 추출 프레임워크를 개발한다.
• 신호 대 잡음비를 향상시키고 푸리에 도메인에서의 전체 계산을 가능하게 하기 위해 복소 절댓값 비선형성 대신 이차 비선형성을 도입하여 산산이 나누어진 네트워크를 확장한다.
• 희소 표현과 푸리에 도메인 컨볼루션을 활용하여 진정으로 선형 시간 복잡도를 달성함으로써 에너지 효율적이고 온라인 배포가 가능한 특징 추출을 실현한다.
• 고잡음, 클래스 불균형, 변동하는 기록 조건을 포함한 실제 도메인의 도전적인 오디오 데이터셋에서 방법을 검증한다.
• 엔드 투 엔드 학습 없이도 효율적이고 학습 가능한 특징 추출이 가능한 딥 러닝 프레임워크의 적용 가능성을 입증한다.

제안 방법

• 웨이브렛 필터의 희소성과 구조를 활용하기 위해 전체 산산이 나누어진 네트워크를 푸리에 도메인에서 유도하여, 희소 행렬 곱셈을 통한 빠른 컨볼루션을 가능하게 한다.
• 표준 복소 절댓값 비선형성 대신 이차 비선형성을 도입함으로써 신호 대 잡음비를 향상시키고 고차 통계 불변 특징을 추출한다.
• 시간 불변성과 분류에 유용한 특징을 캡처하기 위해 산술 평균(1차 통계)과 산란 계수(2차 통계)를 사용하여 산산이 나누어진 계수를 계산한다.
• 모체 웨이브렛에서 유도된 밴드패스 웨이브렛 필터를 사용하여 확장 인자 λ를 통해 계층적 표현을 구축한다.
• 모든 단계에서 희소 저장 및 산술 연산을 적용하여 GPU 가속과 엣지 디바이스에서의 저전력 계산을 가능하게 한다.
• 전처리나 특징 공학 없이도 추출된 산산이 나누어진 계수와 산란 계수만을 특징으로 사용하여, 클래스 가중 손실을 적용한 랜덤 포레스트를 사용해 분류를 수행한다.

실험 결과

연구 질문

• RQ1 고차 비선형성은 계산 효율성을 유지하면서도 산산이 나누어진 네트워크의 분류 능력을 향상시킬 수 있는가?
• RQ2 모든 계층 후에 도메인을 떠나지 않고 전체 산산이 나누어진 네트워크를 푸리에 도메인에서 완전히 계산할 수 있는가? 이는 선형 시간 복잡도를 가능하게 하는가?
• RQ3 푸리에 도메인의 희소 표현과 연산은 실시간 응용을 위한 에너지 효율적이고 확장 가능한 특징 추출에 어떻게 기여하는가?
• RQ4 푸리에 산산이 나누어진 네트워크에서 유도된 결정론적, 불변 특징은 엔드 투 엔드 학습 없이도 복잡한 오디오 분류 작업에서 최고 성능을 달성할 수 있는가?
• RQ5 2차 통계(산란 계수)는 불균형하고 잡음이 많은 오디오 데이터셋에서 분류 성능 향상에 기여하는 바가 무엇인가?

주요 결과

• 제안된 푸리에 산산이 나누어진 네트워크는 희소 행렬 표현을 사용하여 푸리에 도메인에서 모든 연산을 수행함으로써 입력 크기에 대해 선형 시간 복잡도를 달성한다.
• 복소 절댓값 대신 이차 비선형성을 사용함으로써 신호 대 잡음비가 향상되고, 산란 계수와 같은 2차 불변 특징의 유도가 가능해진다.
• 이 방법은 새의 노래 분류에서 평균 평균 정확도(MAP) 52.4%를 달성하였으며, 이는 이전 연구에서 보고된 최고 성능 53%와 동일한 결과를 내었고, 분류기 이외의 학습을 전혀 수행하지 않았다.
• 이 방법은 전처리, 특징 공학, 데이터 증강 없이도 신호에서 유도된 결정론적, 불변 특징에 의존하여 작동한다.
• 간단한 산술 연산과 희소 연산에 기반하기 때문에 효율적이고 병렬 처리가 가능하며 GPU 가속이 가능한 구현이 가능하여 저전력 장치에의 배포를 가능하게 한다.
• 결과는 산산이 나누어진 계수와 산란 계수의 조합이 상호 보완적인 정보를 제공하며, 이들의 연결이 가장 높은 분류 성능을 이끌어낸다는 것을 보여준다.