[論文レビュー] Reweighting Augmented Samples by Minimizing the Maximal Expected Loss

Mingyang Yi, Lu Hou+4 more|arXiv (Cornell University)|Mar 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 6

ひとこと要約

この論文では、最大期待損失（MMEL）を最小化する再重み付け戦略を提案し、閉形式の解を用いて損失が大きい（より難しい）例に高い重みを割り当てる。この手法は、既存の増幅パイプラインを変更せずに、自然言語処理および画像タスクにおけるモデルの汎化性能を向上させる。

ABSTRACT

Data augmentation is an effective technique to improve the generalization of deep neural networks. However, previous data augmentation methods usually treat the augmented samples equally without considering their individual impacts on the model. To address this, for the augmented samples from the same training example, we propose to assign different weights to them. We construct the maximal expected loss which is the supremum over any reweighted loss on augmented samples. Inspired by adversarial training, we minimize this maximal expected loss (MMEL) and obtain a simple and interpretable closed-form solution: more attention should be paid to augmented samples with large loss values (i.e., harder examples). Minimizing this maximal expected loss enables the model to perform well under any reweighting strategy. The proposed method can generally be applied on top of any data augmentation methods. Experiments are conducted on both natural language understanding tasks with token-level data augmentation, and image classification tasks with commonly-used image augmentation techniques like random crop and horizontal flip. Empirical results show that the proposed method improves the generalization performance of the model.

研究の動機と目的

• データ増幅においてすべての増幅サンプルを同等に扱うという限界を是正すること。これは、より難しいか、より情報量の多いサンプルを無視する可能性がある。
• 損失値が大きい増幅サンプルに注目することで、モデルの汎化性能を向上させる再重み付け戦略を開発すること。
• あらゆる可能な再重み付け戦略のうち、最も悪いケースの期待損失を最小化することにより、任意の重み付け選択に対して頑健であることを保証すること。
• 任意の既存のデータ増幅手法と統合可能な、シンプルで解釈可能で普遍的に適用可能な手法を提供すること。

提案手法

• 本手法は、同じ元の例から得られる増幅サンプルの重み付けのあらゆる可能性について、再重み付け損失の上界（essentially sup）として定義される最大期待損失（MEL）を導入する。
• 最適化問題は、このMELを最小化することとして定式化され、これはあらゆる可能な再重み付け方式における最悪の損失を最小化することに等しい。
• 最適化により、個々の損失が大きい（より難しい）増幅サンプルに高い重みが割り当てられる閉形式の解が得られる。
• 本手法は、背後にあるデータ増幅手法に依存せず、たとえばランダムクロップ、水平反転、またはトークンレベルの変換などの既存の増幅戦略の上に適用可能である。
• 手法は敵対的訓練の原則をインspireしており、再重み付けをミニマックス問題として扱い、頑健性を確保する。
• 最終的なモデルは、各増幅サンプルが最大期待損失に与える寄与度に応じて重み付けされた損失を用いて訓練される。

実験結果

リサーチクエスチョン

• RQ1 個々の損失値に基づいて増幅サンプルを再重み付けすることで、モデルの汎化性能が向上するか？
• RQ2 あらゆる可能な再重み付け戦略における最大期待損失を最小化することは、より頑健で汎化性能の高いモデルをもたらすか？
• RQ3 本手法は、自然言語処理およびコンピュータビジョンの両方の分野で、さまざまなデータ増幅技術に適用した場合に、どのように機能するか？
• RQ4 再重み付けの閉形式解は、計算的に効率的かつ多様なタスクにおいて実用的に有効であるか？

主な発見

• 提案されたMMEL手法は、自然言語理解および画像分類タスクの両方で、モデルの汎化性能を向上させる。
• 画像タスクにおいて、ランダムクロップや水平反転といった標準的なデータ増幅手法に適用しても、一貫した性能向上が得られる。
• 自然言語処理タスクにおけるトークンレベルのデータ増幅では、本手法により下流の性能指標に明確な改善が見られる。
• 再重み付けの閉形式解は計算的に効率的であり、標準的な訓練に加えて追加のハイパーパrameterチューニングを必要としない。
• MMELで訓練されたモデルは、任意の再重み付け戦略に対しても頑健である。これは、最悪の期待損失を最小化するように設計されているためである。
• 実験結果により、損失が大きい（より難しい）増幅サンプルに注目することで、より良い汎化性能が達成されることが確認された。