[論文レビュー] Relational Teacher Student Learning with Neural Label Embedding for Device Adaptation in Acoustic Scene Classification

Hu Hu, Sabato Marco Siniscalchi+2 more|arXiv (Cornell University)|Jul 31, 2020

Music and Audio Processing参考文献 31被引用数 5

ひとこと要約

本稿では、神経的ラベル埋め込み（NLE）を用いた関係的教師-生徒学習フレームワークを提案し、音響シーン分類におけるデバイス不一致問題に取り組む。NLEを用いて音響シーンクラス間の構造的関係を捉え、ペア化されたソース-ターゲットデータが不要な関係的 distillation を適用することで、特に Device C で最高 64.2% の精度向上を達成。DCASE 2018 Task1b データセットにおいて、ワンホット符号化および従来のソフトラベル適応手法を上回る性能を発揮した。

ABSTRACT

In this paper, we propose a domain adaptation framework to address the device mismatch issue in acoustic scene classification leveraging upon neural label embedding (NLE) and relational teacher student learning (RTSL). Taking into account the structural relationships between acoustic scene classes, our proposed framework captures such relationships which are intrinsically device-independent. In the training stage, transferable knowledge is condensed in NLE from the source domain. Next in the adaptation stage, a novel RTSL strategy is adopted to learn adapted target models without using paired source-target data often required in conventional teacher student learning. The proposed framework is evaluated on the DCASE 2018 Task1b data set. Experimental results based on AlexNet-L deep classification models confirm the effectiveness of our proposed approach for mismatch situations. NLE-alone adaptation compares favourably with the conventional device adaptation and teacher student based adaptation techniques. NLE with RTSL further improves the classification accuracy.

研究の動機と目的

• 音響シーン分類（ASC）における、あるデバイスで訓練したモデルが他のデバイスで性能を発揮できないという、デバイス不一致の継続的課題に取り組む。
• ペア化されたソース-ターゲットデータや類似ドメインを必要とする従来の知識蒸留法の限界を克服する。
• 音響シーンクラス間の内在的構造的関係を活用し、ドメイン適応のロバスト性を向上させる。
• ペア化されたデータが不要な状況下で、NLE を用いてソースデバイスからターゲットデバイスへ知識を転送する手法を開発する。
• クラス間の意味的関係を低次元ラベル埋め込みにエンコードすることで、モデルの一般化性能を向上させる。

提案手法

• Device A のデータを用いてソースドメインモデル（AlexNet-L）を訓練し、各クラスのソフトラベル分布を生成する。
• ソースモデルのソフトラベル分布のクラス固有の重心として、神経的ラベル埋め込み（NLE）を計算する。
• NLE を関係的事前知識として用い、生徒モデルと教師モデル出力の関係的構造の差を最小化することで、関係的知識蒸留（RTSL）を適用する。
• ペア化されたソース-ターゲットサンプルが不要な状況下で、ターゲットドメインデータ（Device B や C）と NLE ベクトルのみを用いて生徒モデルを適応させる。
• NLE にエンコードされた構造的関係を可視化・検証するために、SKLD を用いた t-SNE および PCA を実施する。
• NLE に従う関係的制約を組み込んだ交差エントロピー損失を最適化することで、クラス間の意味的類似性を保持する。

実験結果

リサーチクエスチョン

• RQ1 神経的ラベル埋め込み（NLE）は、デバイスに依存しない形で、音響シーンクラス間の構造的関係を効果的にエンコードできるか？
• RQ2 ペア化されたソース-ターゲットデータが利用できない状況下で、NLE を用いた関係的知識蒸留（RTSL）は、音響シーン分類におけるドメイン適応を向上させるか？
• RQ3 NLE を用いた適応手法は、従来のワンホット符号化およびソフトラベル知識蒸留と比較して、不一致デバイスにおける精度で優れているか？
• RQ4 RTSL における関係的制約は、異なる録音デバイス間でモデルの一般化性能をどの程度向上させるか？
• RQ5 NLE ベクトルの可視化により、音響シーン間に意味的なクラスタが存在することが確認できるか？

主な発見

• NLE を用いた適応では、Device B で 58.7%、Device C で 62.0% の精度を達成。ワンホット適応（それぞれ 57.0% および 60.8%）を上回った。
• 提案された NLE-RTSL フレームワークは、Device B で 59.2%、Device C で 64.2% の最高精度を記録。Device C ではワンホット適応より 4.2% の向上を達成した。
• t-SNE および PCA を用いた可視化分析により、NLE ベクトルが意味的関係を保持しており、公共の屋内・屋外・輸送シーンに対応するクラスタが明確に形成されていることが確認された。
• NLE ベクトルは、クラス関係のコンパクトで安定した表現を形成し、ノイズの多いソフトラベルへの感受性を低減した。
• NLE を用いた関係的蒸留は、標準的なソフトラベル蒸留よりも顕著に性能を向上させた。これは、関係的インダクティブバイアスが知識転送を強化していることを示している。
• ペア化されたソース-ターゲットデータが不要な状況下でも、未観測デバイスにモデルを適応させることに成功。実世界への展開可能性を裏付けた。