[論文レビュー] Redundancy Reduction Twins Network: A Training framework for Multi-output Emotion Regression

Xin Jing, Meishu Song+3 more|arXiv (Cornell University)|Jun 18, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文では、同じサンプルの拡張されたビューからの埋め込み間の相互相関を最小化することで、多出力感情回帰における特徴の重複を低減する訓練フレームワーク、Redundancy Reduction Twins Network (RRTN) を提案する。Barlow Twins損失と、動的損失バランス化を図るための新規な制約付き不確実性重み損失 (RUWL) を用いる。この手法により、vanilla CNN14 に対して相対的に 4.8% の向上が達成され、ExVo デベロッパーティングセットでは CCC が 0.678 に到達した。

ABSTRACT

In this paper, we propose the Redundancy Reduction Twins Network (RRTN), a redundancy reduction training framework that minimizes redundancy by measuring the cross-correlation matrix between the outputs of the same network fed with distorted versions of a sample and bringing it as close to the identity matrix as possible. RRTN also applies a new loss function, the Barlow Twins loss function, to help maximize the similarity of representations obtained from different distorted versions of a sample. However, as the distribution of losses can cause performance fluctuations in the network, we also propose the use of a Restrained Uncertainty Weight Loss (RUWL) or joint training to identify the best weights for the loss function. Our best approach on CNN14 with the proposed methodology obtains a CCC over emotion regression of 0.678 on the ExVo Multi-task dev set, a 4.8% increase over a vanilla CNN 14 CCC of 0.647, which achieves a significant difference at the 95% confidence interval (2-tailed).

研究の動機と目的

• 多出力感情回帰モデルにおける特徴の重複を軽減し、一般化性能と性能を向上させること。
• データ拡張を活用してモデルの複雑さを増さずに表現学習を向上させる訓練フレームワークを開発すること。
• 訓練の安定性と収束性を向上させるために、新規な損失重み戦略を導入すること。
• 大規模なボーカルバースト感情データセット (Hume-VB) において、重複低減と共同損失最適化の有効性を実証すること。

提案手法

• SpecAugment を用いて各入力サンプルの2つの歪んだビューを生成するデータ拡張を実施する。
• 元のサンプルと拡張されたサンプルを同一のエンコーダーに通し、回帰用の表現と対照的学習用の埋め込みを出力する。
• 埋め込み間の相互相関行列を単位行列にできるだけ近づけることで、重複を低減する。
• 同じサンプルの異なる拡張形に対して埋め込みの類似性を最大化するため、Barlow Twins 損失関数を用いる。
• 損失の合計値を制約しながら、動的かつ安定的に損失重みを調整する制約付き不確実性重み損失 (RUWL) 戦略を実装する。
• Barlow Twins 損失と感情回帰損失の重み付き和を用いてネットワークを訓練し、RUWL が両者のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習された表現における重複の低減が、多出力感情回帰タスクの性能向上に寄与するか？
• RQ2 音声ベースの感情回帰に適用した場合、Barlow Twins 損失が重複をどれほど低減できるか？
• RQ3 RUWL を用いた動的損失重み付けは、固定または重みなしの損失組み合わせと比較して、より安定的かつ効果的な訓練を実現するか？
• RQ4 RRTN フレームワークは、特に CNN14 のような深層ネットワークを含むさまざまなバックボーンアーキテクチャでどのように動作するか？
• RQ5 提案されたフレームワークは、ExVo の多タスク感情回帰ベンチマークにおいて、標準的な訓練ベースラインをどの程度上回るか？

主な発見

• RRTN フレームワークは、CNN14 を用いて ExVo の多タスク開発セットで CCC 0.678 を達成し、vanilla CNN14 ベースライン (0.647) に対して相対的に 4.8% の向上を示した。
• 95%信頼区間において有意な向上であり、重複低減アプローチの有効性が裏付けられた。
• RRTN フレームワークは、さまざまなバックボーンモデルにおいて一貫した性能向上を示し、特に深層構造を持つ CNN14 では 4.8% の最大の向上を記録した（CNN10 では 2%）。
• RUWL 損失戦略は、標準的な RRTN 訓練と比較してわずかではあるが一貫した向上を示し、動的損失重み付けが安定性と性能の両方を向上させることを示した。
• 相互相関の最小化戦略が性能向上の主因であり、損失重み付け機構は二次的ではあるが有益な役割を果たした。
• 追加されたパラメータは単一の線形プロジェクターレイヤーのみであったため、パラメータの追加が最小限に抑えられ、軽量かつ効果的な訓練フレームワークであることが明らかになった。