[論文レビュー] Teaching with Commentaries

Aniruddh Raghu, Maithra Raghu+3 more|arXiv (Cornell University)|Nov 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 4

ひとこと要約

本論文は、勾配に基づく最適化を用いた『コメント（commentaries）』—学習されたメタ情報—を用いた柔軟な学習指導フレームワークを提案する。コメントは、例の重み付け、データ拡張、アテンションマスクなど、例としてのタスクにおいて、収束速度の向上、性能の向上、耐性の強化を実現する。再利用可能なコメントは、モデルやデータセットをまたいで一般化可能である。

ABSTRACT

Effective training of deep neural networks can be challenging, and there remain many open questions on how to best learn these models. Recently developed methods to improve neural network training examine teaching: providing learned information during the training process to improve downstream model performance. In this paper, we take steps towards extending the scope of teaching. We propose a flexible teaching framework using commentaries, learned meta-information helpful for training on a particular task. We present gradient-based methods to learn commentaries, leveraging recent work on implicit differentiation for scalability. We explore diverse applications of commentaries, from weighting training examples, to parameterising label-dependent data augmentation policies, to representing attention masks that highlight salient image regions. We find that commentaries can improve training speed and/or performance, and provide insights about the dataset and training process. We also observe that commentaries generalise: they can be reused when training new models to obtain performance benefits, suggesting a use-case where commentaries are stored with a dataset and leveraged in future for improved model training.

研究の動機と目的

• 補助的指導信号を学習することで、深層ニューラルネットワークの学習をより高速かつデータ効率よく行う課題に取り組む。
• 従来の指導法がタスク固有であり、モデルやデータセットをまたいで再利用できないという限界を克服する。
• 訓練をガイドし、解釈可能性を提供するメタ情報（コメント）を学習する統一的で柔軟なフレームワークを構築する。
• コメントがモデルをまたいで一般化されることを示し、新しい訓練設定において性能と速度の向上を実現する再利用可能性を示す。
• 精度を超えた多様な応用を検討する — 例えば、解釈可能性（アテンションマスク）や誤った相関（スパイルスな相関）に対する耐性。

提案手法

• コメントを、ニューラルネットワークや表形式関数でパrameter化された学習済みメタ情報（例：例の重み、拡張方針、アテンションマスク）として定義する。
• 学生ネットワークの検証損失をコメントパrameterに関して微分することで、バックプロパゲーションを訓練に適用し、コメントパラメータを最適化する。
• implicitly differentiation とハイパーグラデント計算（Lorraine et al., 2020）を活用し、大規模モデルへのコメント学習のスケーリングを実現する。
• コメントを3通りの方法で適用する：(1) 学習済み例の重みによるカリキュラム学習、(2) ラベル依存のデータ拡張方針、(3) サリエンシー検出のためのアテンションマスク生成。
• 検証損失を目的関数として、コメントネットワークをエンドツーエンドで訓練し、下流の訓練に役立つメタ知識を学習可能にする。
• コメントをデータセットと関連付けて保存・再利用し、新しいモデルの訓練を改善する。これにより、移譲性と一般化の可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 学習済みメタ情報（コメント）は、多様なディープラーニングタスクにおいて、学習速度と性能の向上を実現できるか？
• RQ2 コメントは、例えば画像の顕著な領域を特定するなど、データや訓練ダイナミクスに関する解釈可能なインサイトを提供できるか？
• RQ3 コメントはモデルやデータセットをまたいで一般化可能であり、新しい訓練ランの高速化や性能向上に再利用可能か？
• RQ4 コメントは、CUBデータセットにおける背景要因のスパイルスな相関を緩和するのに効果的か？
• RQ5 コメントを用いて、モデルの耐性と精度を向上させる有効なデータ拡張方針を学習できるか？

主な発見

• 訓練にバックプロパゲーションを適用して学習したコメントは、少データ学習ベンチマークにおいて、検証精度を著しく向上させるとともに、学習時間を短縮した。
• CUB-200-2011データセットで学習したアテンションマスクは、背景ではなく鳥の領域に注目しており、解釈可能性と耐性の両面を示した。
• CUBデータセットにおける分布シフト（スパイルスな背景相関）の状況下で、アテンションマスクを適用したところ、テストセットのトップ-1精度は25.81%から30.46%へ、トップ-5精度は56.98%から61.57%へ向上した。
• データ拡張用コメントは、ベースラインの拡張戦略に比べて、ベンチマークタスクで優れた性能を示した。
• コメントを用いて学習した例の重み付けカリキュラムは、どの訓練例が最も情報量が多いかを解釈可能な形で示した。
• コメントは一般化可能である：新しいモデル（例：ResNet-18）に学習済みコメントを再利用することで、学習速度と性能に顕著な改善が得られた。これは、データセットレベルの知識再利用のための実用的パイプラインであることを示唆している。