[論文レビュー] First Order Ambisonics Domain Spatial Augmentation for DNN-based Direction of Arrival Estimation

Luca Mazzon, Yuma Koizumi+2 more|arXiv (Cornell University)|Oct 10, 2019

Speech and Audio Processing参考文献 19被引用数 4

ひとこと要約

本稿では、深層学習に基づく方向性推定（DOA）のための、First Order Ambisonics（FOA）ドメインにおける空間的拡張手法を提案する。回転および反射変換をFOAチャネルおよび対応するラベルに適用することで、DOA表現を合成的に拡張する。2つの異なるDNNアーキテクチャにおいて、DOA誤差を約40％低減し、空間的汎化性能およびロバスト性の顕著な向上を示した。

ABSTRACT

In this paper, we propose a novel data augmentation method for training neural networks for Direction of Arrival (DOA) estimation. This method focuses on expanding the representation of the DOA subspace of a dataset. Given some input data, it applies a transformation to it in order to change its DOA information and simulate new potentially unseen one. Such transformation, in general, is a combination of a rotation and a reflection. It is possible to apply such transformation due to a well-known property of First Order Ambisonics (FOA). The same transformation is applied also to the labels, in order to maintain consistency between input data and target labels. Three methods with different level of generality are proposed for applying this augmentation principle. Experiments are conducted on two different DOA networks. Results of both experiments demonstrate the effectiveness of the novel augmentation strategy by improving the DOA error by around 40%.

研究の動機と目的

• DOA推定のための訓練データセットにおける空間的多様性の不足が、モデルの汎化性能を制限するという問題に対処すること。
• 方向性到達（DOA）表現の範囲を予測可能で一貫性のある方法で明示的に拡張するデータ拡張戦略を開発すること。
• 入力FOA信号とその対応するDOAターゲットの両方に同じ変換を適用することで、ラベルの一貫性を維持すること。
• 16パターン、ラベル優先、チャネル優先の3つの異なる変換戦略が、DOA推定性能に与える影響を評価すること。
• FOAの回転不変性が、ラベル精度を損なわずに信頼性があり解析的な拡張を可能にすることを示すこと。

提案手法

• 本手法は、ロドリゲスの回転公式および正規直交行列乗算を用いて、First Order Ambisonics（FOA）信号に回転および反射変換を適用する。
• W、X、Y、Zの4つのすべてのFOAチャネルに変換を適用し、音場とDOAとの間の物理的関係を保持する。
• 同じ変換をターゲットDOAラベルに適用することで、入力信号と正解方向との一貫性を保証する。
• 3つの拡張戦略を実装：16パターングリッドサンプリング、ラベル優先拡張（ラベルを最初に回転）、チャネル優先（ラベルより前にチャネルに変換を適用）。
• FOAが個々の音源を符号化するのではなく音場を符号化しているという数学的性質を活用し、予測可能な空間的変換を可能にする。
• 計算コストと汎化性能のバランスを考慮し、訓練データの50％に対して、長時間のWAVファイルに直接拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 FOAドメインにおける空間的拡張は、ラベルの一貫性を保ちながら、DOA訓練データの空間的多様性を効果的に増加させることができるか？
• RQ2 16パターン、ラベル優先、チャネル優先の3つの異なる実装戦略において、DOA推定精度にどのような差が生じるか？
• RQ3 従来のデータ拡張手法（例：SpecAugment）と比較して、FOAベースの拡張はDOA推定タスクで優れた性能を示すか？
• RQ4 性能と訓練安定性のバランスを考慮した場合、最適な拡張データ割合（例：50％ vs 100％）は何か？
• RQ5 拡張によってDOAラベル空間が拡張されることで、モデルの汎化性能が向上するのか、あるいはモデルの難易度が増すのか？

主な発見

• 提案手法のFOAドメインにおける空間的拡張により、Simple DOAnetおよびSophisticated DOAnetの両方において、非拡張訓練と比較してDOA誤差が約40％低減した。
• 16パターン手法が最良の性能を示し、Sophisticated DOAnetでは平均DOA誤差を非拡張時（1.66°）から1.21°に低減した。
• ラベル優先手法も非拡張訓練を上回り、DOA誤差を1.66°から1.40°に低減したが、16パターン手法に劣った。
• チャネル優先手法は非拡張訓練より性能が悪く、DOA誤差が1.73°に上昇した。これは、ラベルドメインの不一致がモデルの汎化性能を損なうことを示している。
• すべての拡張手法でフレームリコールが向上し、16パターン手法はSophisticated DOAnetで最高の平均フレームリコール97.39％を達成した。
• 訓練曲線では、16パターンおよびラベル優先手法を用いた場合、あるエポック以降、バリデーションセットにおけるDOA誤差が一貫して改善された。