[論文レビュー] Addressing the Loss-Metric Mismatch with Adaptive Loss Alignment

Chen Huang, Shuangfei Zhai+5 more|arXiv (Cornell University)|May 15, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用数 36

ひとこと要約

本論文は、訓練損失を評価指標に適応的に一致させるためのメタラーニングと強化学習に基づく手法を提案する。訓練中に損失を動的に調整することで、損失と指標の不一致を低減する。このアプローチは、評価指標を直接最適化し、損失のランドスケープを滑らかにするため、メトリック学習および分類タスクにおいて性能を向上させる。異なるタスクやデータセットにわたって転送可能なポリシーを実現する。

ABSTRACT

In most machine learning training paradigms a fixed, often handcrafted, loss function is assumed to be a good proxy for an underlying evaluation metric. In this work we assess this assumption by meta-learning an adaptive loss function to directly optimize the evaluation metric. We propose a sample efficient reinforcement learning approach for adapting the loss dynamically during training. We empirically show how this formulation improves performance by simultaneously optimizing the evaluation metric and smoothing the loss landscape. We verify our method in metric learning and classification scenarios, showing considerable improvements over the state-of-the-art on a diverse set of tasks. Importantly, our method is applicable to a wide range of loss functions and evaluation metrics. Furthermore, the learned policies are transferable across tasks and data, demonstrating the versatility of the method.

研究の動機と目的

• 機械学習における一般的な仮定、すなわち固定された手作業による損失関数が評価指標を信頼できる代理指標として提供するとする仮定を扱う。
• しばしば最適でない一般化性能や下流の指標性能を引き起こす、損失と指標の不一致を低減する。
• 訓練中に実際の評価指標を最適化する、サンプル効率的で動的な損失適応メカニズムを開発する。
• 微調整なしにさまざまなデータセットや学習シナリオに一般化可能な、タスクに依存しない損失ポリシーを可能にする。

提案手法

• 本手法はメタラーニングを用い、モデルの進捗状況とバッチレベルの統計に基づいて、訓練中に損失関数を動的に調整するポリシー・ネットワークを学習する。
• 強化学習フレームワークを用いてポリシーを最適化し、報酬信号は直接評価指標（例：正確度、mAP）から得られる。
• ポリシーは損失ランドスケープを滑らかにするよう励ますように訓練され、訓練の安定性と収束性が向上する。
• 本手法は、標準的な損失関数（例：交差エントロピー、対照的損失）および評価指標（例：トップ1正確度、mAP）の広範な範囲と互換性がある。
• 学習された損失適応ポリシーは、再訓練なしにさまざまなデータセットやタスクに転送可能である。
• 本手法はプラグアンドプレイ方式で動作し、既存の訓練パイプラインへの最小限の変更で実装可能である。

実験結果

リサーチクエスチョン

• RQ1 固定された手作業による損失関数と比較して、動的に適忣された損失関数は、下流の評価指標において性能を向上させるか？
• RQ2 適応的損失整合化は、分類およびメトリック学習タスクにおいて、損失と指標の不一致をどの程度低減するか？
• RQ3 提案手法は、訓練中に損失ランドスケープの滑らかさにどのように影響を与えるか？
• RQ4 学習された損失適応ポリシーは、微調整なしにさまざまなデータセットやタスクに一般化可能か？
• RQ5 本手法は、多様なベンチマークで一貫した性能向上を達成しつつ、サンプル効率を維持するか？

主な発見

• 提案手法は、複数のメトリック学習および分類ベンチマークにおいて、最先端のベースラインを顕著に上回る性能を達成する。
• 適応的損失整合化により、滑らかな損失ランドスケープが得られ、これが訓練の安定性と収束性の向上と相関している。
• 本手法は、訓練中に評価指標を直接最適化することで、損失と指標の不一致を低減する。
• 学習された損失適応ポリシーは、さまざまなデータセットやタスクにわたって転送可能であり、優れた一般化能力を示す。
• 本手法はサンプル効率的であり、標準的な損失関数および評価指標の広範な範囲と互換性がある。
• 実証的結果から、メトリック学習および標準的な分類シナリオを含む多様なタスクで一貫した向上が得られていることが示された。