[論文レビュー] Linear Time Complexity Deep Fourier Scattering Network and Extension to Nonlinear Invariants

Randall Balestriero, Hervé Glotin|arXiv (Cornell University)|Jul 18, 2017

Image and Signal Denoising Methods参考文献 16被引用数 6

ひとこと要約

本稿では、高次非線形性とフーリエに基づく不変性を組み込んだことで、従来のスキャatteringネットワークを拡張し、フーリエドメインで直接に効率的でエネルギー効率の良い特徴抽出を可能にする線形時間計算量の深層フーリエスキャatteringネットワークを提案する。この手法は、分類器を超える学習を一切行わず、スパース行列演算と決定論的で不変な表現を活用することで、鳥鳥の鳴き声分類でSOTA（52.4% MAP）の性能を達成した。

ABSTRACT

In this paper we propose a scalable version of a state-of-the-art deterministic time-invariant feature extraction approach based on consecutive changes of basis and nonlinearities, namely, the scattering network. The first focus of the paper is to extend the scattering network to allow the use of higher order nonlinearities as well as extracting nonlinear and Fourier based statistics leading to the required invariants of any inherently structured input. In order to reach fast convolutions and to leverage the intrinsic structure of wavelets, we derive our complete model in the Fourier domain. In addition of providing fast computations, we are now able to exploit sparse matrices due to extremely high sparsity well localized in the Fourier domain. As a result, we are able to reach a true linear time complexity with inputs in the Fourier domain allowing fast and energy efficient solutions to machine learning tasks. Validation of the features and computational results will be presented through the use of these invariant coefficients to perform classification on audio recordings of bird songs captured in multiple different soundscapes. In the end, the applicability of the presented solutions to deep artificial neural networks is discussed.

研究の動機と目的

• 音声信号のような構造的入力に対して、スケーラブルで決定論的な特徴抽出フレームワークを構築し、時間不変性とロバスト性を実現すること。
• スキャatteringネットワークを拡張するために、複素絶対値非線形性の代わりに2次非線形性を導入することで、信号対雑音比を向上させ、フーリエドメイン全体での完全な計算を可能にすること。
• スパース表現とフーリエドメイン畳み込みを活用することで、真の線形時間計算量を達成し、エネルギー効率の高い、オンライン展開を可能にすること。
• 高ノイズ、クラス不均衡、変動する録音条件を伴う実世界の困難な音声データセットに対して、手法の有効性を検証すること。
• エンドツーエンド学習なしに効率的で学習可能な特徴抽出が可能なことを示し、深層学習への適用可能性を実証すること。

提案手法

• ウェーブレットフィルタのスパarsityと構造を活かし、フーリエドメインで全スキャatteringネットワークを導出することで、スパース行列乗算による高速畳み込みを実現する。
• 信号対雑音比の向上と、2次統計的不変性の抽出を目的に、標準の複素絶対値非線形性を2次非線形性に置き換える。
• 時間不変で識別性の高い特徴を捉えるために、算術平均（1次統計）と分散係数（2次統計）を用いてスキャattering係数を計算する。
• 母数ウェーブレットから得られるバンドパスウェーブレットフィルタを、拡大係数λを用いてフーリエドメインで構築し、階層的表現を形成する。
• スパースストレージと算術演算を全プロセスにわたって適用することで、GPUアクセラレーションとエッジデバイスにおける低消費電力計算を可能にする。
• 前処理や特徴工学の一切なしに、抽出されたスキャattering係数と分散係数のみを特徴量として使用し、クラス重み付き損失を用いたランダムフォレストを分類器として採用する。

実験結果

リサーチクエスチョン

• RQ1 高次非線形性は、計算効率を保ちつつスキャatteringネットワークの識別力を向上させることができるか？
• RQ2 各層の後でドメインを離さずに、全スキャatteringネットワークを完全にフーリエドメインで計算することが可能であり、線形時間計算量を達成できるか？
• RQ3 フーリエドメインにおけるスパース表現と演算は、リアルタイム応用に向けたエネルギー効率的でスケーラブルな特徴抽出にどのように寄与するか？
• RQ4 フーリエスキャatteringネットワークから導出される決定論的で不変な特徴は、エンドツーエンド学習なしに、複雑な音声分類タスクでSOTA性能を達成できるか？
• RQ5 2次統計（分散係数）は、不均衡でノイズの多い音声データセットにおける分類性能向上にどの程度寄与するか？

主な発見

• 提案手法のフーリエスキャatteringネットワークは、スパース行列表現を用いてフーリエドメインで全演算を実行することで、入力サイズに対して真の線形時間計算量を達成した。
• 複素絶対値の代わりに2次非線形性を用いることで、信号対雑音比が向上し、分散係数のような2次不変特徴の導出が可能になった。
• 鳩の鳴き声分類において、分類器を超える学習なしに、平均平均精度（MAP）52.4%を達成し、先行研究で報告された53%のSOTA結果と同等の性能を示した。
• 前処理、特徴工学、データ拡張の一切なしに、信号から抽出された決定論的で不変な特徴のみに依存している。
• 単純な算術演算とスパース演算に依存しているため、効率的で並列化可能かつGPUアクセラレーションが可能な実装が可能であり、低消費電力デバイスへの展開が可能である。
• スキャattering係数と分散係数の組み合わせが補完的であることが実証され、両者の連結が最も優れた分類性能をもたらした。