[論文レビュー] Self-supervised Representation Learning with Relative Predictive Coding

Yao-Hung Hubert Tsai, Quintín Martín Martín+4 more|arXiv (Cornell University)|Mar 21, 2021

Speech and Audio Processing参考文献 58被引用数 4

ひとこと要約

本稿では、相対的パラメータを導入して損失を正則化し、対数および指数関数的項を排除することで、訓練の安定性を向上させ、ミニバッチサイズへの感受性を低減し、下流の性能を向上させる、新しい対照的表現学習目的である相対的予測符号化（RPC）を提案する。このRPCは、視覚および音声のベンチマークで最先端の性能を達成し、分散が低く、データセット間で一貫した向上を示す。

ABSTRACT

This paper introduces Relative Predictive Coding (RPC), a new contrastive representation learning objective that maintains a good balance among training stability, minibatch size sensitivity, and downstream task performance. The key to the success of RPC is two-fold. First, RPC introduces the relative parameters to regularize the objective for boundedness and low variance. Second, RPC contains no logarithm and exponential score functions, which are the main cause of training instability in prior contrastive objectives. We empirically verify the effectiveness of RPC on benchmark vision and speech self-supervised learning tasks. Lastly, we relate RPC with mutual information (MI) estimation, showing RPC can be used to estimate MI with low variance.

研究の動機と目的

• 対照的自己教師付き学習における訓練の不安定性、特に損失関数の高い分散に起因する問題を解決すること。
• 大規模バッチを必要とする対照的手法の実用的導入を制限するミニバッチサイズへの感受性を低減すること。
• 訓練の安定性と頑健性を維持したまま、下流タスクの性能を向上させること。
• 対数および指数関数的演算が数値的不安定性の原因となることから、それらを回避する対照的目的を構築すること。
• RPCと分散が小さい相互情報推定との間の関係を確立すること。

提案手法

• RPCは、対照的損失を正則化するために相対的パラメータ（α, β, γ）を導入し、有界性を確保するとともに分散を低減する。
• 損失関数は、対数および指数関数的項の代わりに2次および線形項を用いることで、数値的安定性を向上させる。
• コア損失は、J_RPC = -[f_k(h_{t+k}, c_t) - (α/|N|)Σf_k(h_i, c_t) - (β/2)f_k²(h_{t+k}, c_t) - (γ/(2|N|))Σf_k²(h_i, c_t)] として定義される。ここで、hは表現であり、cはコンテキストを表す。
• 相対的パラメータはℓ₂正則化として機能し、最適化の流れを安定化させ、極端な値の発生を防ぐ。
• 視覚タスクでは温度τ=16、音声タスクでもτ=16を用い、損失のダイナミクスを保持するため、隠れ層の正規化を実施しない。
• RPCは、CIFAR-10/100、STL-10、ImageNet、LibriSpeechに対して実証的に検証され、ResNet-18および先行研究のモデルを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 対照的学習目的は、訓練の安定性を維持したまま、高い下流タスク性能を達成できるか？
• RQ2 損失関数から対数および指数関数的項を除去することで、訓練の分散が低減し、安定性が向上するか？
• RQ3 提案手法は、先行の対照的目的と比較してミニバッチサイズに対してどれほど感受性を示すか？
• RQ4 RPCは、分散が小さい相互情報推定に使用できるか？
• RQ5 安定的かつ正確なMI推定のための相対的パラメータ（α, β, γ）の最適な設定は何か？

主な発見

• RPCは、隠れ層の正規化を施さない状況でも、DV、NWJ、CPCと比較して低い訓練分散を示し、安定性の向上を裏付ける。
• RPCはミニバッチサイズへの感受性が低く、CPCが大規模バッチを必要とするのとは異なり、小さなバッチサイズでも強力な性能を維持する。
• CIFAR-10では、ResNet-18を用いて93.8%のトップ-1正解率を達成し、CPCを上回り、完全教師あり性能に近づいた。
• ImageNetでは、線形評価で76.5%のトップ-1正解率を達成し、強力な転移性を示した。
• β ≈ 10⁻³およびγ ≈ 1.0の条件下で、RPCは低バイアス・低分散の相互情報推定が可能であり、低MI領域ではDoEを上回った。
• 20次元の相関のあるガウス分布におけるMI推定において、β=10⁻³およびγ=1.0のRPCは安定的かつ正確な推定を実現したが、DoEはMIが小さい場合に不安定になった。