[論文レビュー] Adapting Auxiliary Losses Using Gradient Similarity

Yunshu Du, Wojciech Marian Czarnecki+4 more|arXiv (Cornell University)|Dec 5, 2018

Adversarial Robustness in Machine Learning参考文献 51被引用数 95

ひとこと要約

要旨: 本研究は、主タスクを支援する補助損失を使用するタイミングを決定するための勾配コサイン類似度ヒューリスティックを提案し、収束を保証し、監督型学習と強化学習の設定におけるネガティブ転送を阻止する。

ABSTRACT

One approach to deal with the statistical inefficiency of neural networks is to rely on auxiliary losses that help to build useful representations. However, it is not always trivial to know if an auxiliary task will be helpful for the main task and when it could start hurting. We propose to use the cosine similarity between gradients of tasks as an adaptive weight to detect when an auxiliary loss is helpful to the main loss. We show that our approach is guaranteed to converge to critical points of the main task and demonstrate the practical usefulness of the proposed algorithm in a few domains: multi-task supervised learning on subsets of ImageNet, reinforcement learning on gridworld, and reinforcement learning on Atari games.

研究の動機と目的

• 補助損失を用いてデータ効率を向上させつつ、主タスクへのネガティブ転送を回避する動機づけ。
• トレーニング中に補助損失を動的に重みにする軽量な勾配ベースのヒューリスティックを導入。
• 提案された更新規則の下で主タスクの収束を理論的に保証。
• 監督学習と強化学習の領域を横断して手法を経験的に検証。
• 勾配類似性をタスク関連性の尺度として用いることの影響と制限を議論。

提案手法

• 主タスクネットワークと補助タスクネットワークを共有パラメータ構造として定義。
• 補助勾配を主勾配に加えるのは、両者のコサイン類似度が非負の場合のみとする勾配ベースの更新規則を提案（バイナリ版も使用可能）。
• 学習率を小さく設定した場合に主損失の局所最小値へ収束することを証明（命題1および2）。
• 補助転送をネガティブに抑制し、実践ではポジティブ転送を促進できることを示す（アルゴリズム1およびアルゴリズム2の派生）。
• ImageNetの二値分類と回転MNIST、RLグリッドワールド、Atariへ適用し、ドメイン横断の適応性を示す。
• 得られるベクトル場は保存場である必要はなく、実際のトレーニング影響を強調する。）

実験結果

リサーチクエスチョン

• RQ1 勾配コサイン類似度は、補助タスクが主タスクを訓練中に助けるか害するかを信頼できずに示せるのか。
• RQ2 補助ウェイトを勾配類似度に基づいて適応させることは、主タスクの臨界点への収束を保証するのか。
• RQ3 変化するタスク関連性の下で、提案されたヒューリスティックは監督学習と強化学習設定でどう機能するのか。
• RQ4 勾配類似性を転送の尺度としてドメイン間で用いる際の実用的な意味と潜在的な制限は何か。

主な発見

Rotation	Error - Single-task (%)	Error - Multi-task (%)	Error - Our method (%)
0	2.14 ± 0.16	2.19 ± 0.19	2.11 ± 0.13
45	2.15 ± 0.15	2.36 ± 0.17	2.10 ± 0.14
90	2.17 ± 0.19	2.41 ± 0.22	2.26 ± 0.08
135	2.11 ± 0.12	2.50 ± 0.19	2.37 ± 0.12
180	2.20 ± 0.16	2.23 ± 0.12	2.21 ± 0.16

• 勾配コサイン類似度は関連する補助タスクと関連性の低い補助タスクを区別し、ImageNet実験で近接ペアほど類似度が高く、遠いペアほど低い。
• 提案されたコサイン重み付き手法は初期学習を速め、その後補助が有用でなくなる（近接クラスペア）と単一タスクの性能と同等になる。
• コサイン類似度が負の場合に補助をオフにしてネガティブ転送を阻止し、遠いクラスペアで主タスクの性能を回復できる。
• 回転MNISTでは、手法は単一タスクの性能を向上させるか同等とし、より高い回転で補助からの負の干渉を緩和する。
• RLグリッドワールドとAtariでは、コサイン重み付き蒸留が補助信号を適応させて学習速度と最終性能を向上させつつ、主タスクのスキル忘却を回避する。
• 命題は、提案された更新規則の下で、非保守的な補助ベクトル場でも主タスクの収束保証を示す。