[論文レビュー] Rich Feature Construction for the Optimization-Generalization Dilemma

Jianyu Zhang, David López-Paz+1 more|arXiv (Cornell University)|Mar 24, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、複数の有用な特徴を含む多様で事前学習済みの表現を初期化として用いる、豊富な特徴構築（RFC）手法であるBonsaiアルゴリズムを提案する。特徴発見と最適化を分離することで、分布外（OoD）一般化のための訓練がより単純かつ安定化され、ColoredMNISTおよびCamelyon17の両ベンチマークで6つのOoD手法に対して一貫して性能向上を達成する。また、ハイパーパrameterへの感受性と分散の低減も実現する。

ABSTRACT

There often is a dilemma between ease of optimization and robust out-of-distribution (OoD) generalization. For instance, many OoD methods rely on penalty terms whose optimization is challenging. They are either too strong to optimize reliably or too weak to achieve their goals. We propose to initialize the networks with a rich representation containing a palette of potentially useful features, ready to be used by even simple models. On the one hand, a rich representation provides a good initialization for the optimizer. On the other hand, it also provides an inductive bias that helps OoD generalization. Such a representation is constructed with the Rich Feature Construction (RFC) algorithm, also called the Bonsai algorithm, which consists of a succession of training episodes. During discovery episodes, we craft a multi-objective optimization criterion and its associated datasets in a manner that prevents the network from using the features constructed in the previous iterations. During synthesis episodes, we use knowledge distillation to force the network to simultaneously represent all the previously discovered features. Initializing the networks with Bonsai representations consistently helps six OoD methods achieve top performance on ColoredMNIST benchmark. The same technique substantially outperforms comparable results on the Wilds Camelyon17 task, eliminates the high result variance that plagues other methods, and makes hyperparameter tuning and model selection more reliable.

研究の動機と目的

• 罰則ベースの手法が最適化を信頼性高く行うには強すぎるか弱すぎるかの、分布外（OoD）学習における最適化一般化ジレンマに対処すること。
• 下流の最適化のための特徴選択を簡素化する多様で豊かな表現を提供することで、OoDモデルの訓練難易度を低減すること。
• 性能のばらつきを低減することで、OoD設定におけるハイパーパrameterチューニングとモデル選択の信頼性を向上させること。
• 事前に構築された特徴から得られる強いインダクティブバイアスにより、OoDおよび通常のERM手法がSOTA性能を達成できるようにすること。

提案手法

• Bonsaiアルゴリズムは、特徴発見と合成のエピソードを交互に繰り返すことで、多様な特徴を構築する。
• 発見エピソードでは、複数目的の基準を設計し、ネットワークが前回のラウンドで得た特徴を再利用するのを防ぎ、新たな表現の探索を促す。
• 合成エピソードでは、知識蒸留を適用して、一度にすべての以前に発見された特徴を表現できる1つのネットワークを訓練する。
• 最終的な表現は固定され、下流モデルの初期化に使用され、さらなるファインチューニングなしに強いインダクティブバイアスを提供する。
• OoD一般化の評価のために、合成的（ColoredMNIST）および現実世界（Camelyon17）のベンチマークに本手法を適用する。
• ハイパーパramータはIIDまたはOoDプロトコルのいずれかを用いてチューニングされ、OoDおよびIIDの両方の検証を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みで多様な表現は、OoD手法の最適化および一般化性能を向上させることができるか？
• RQ2 Bonsaiアルゴリズムは、OoDモデルのハイパーパramータ選択に対する感受性を低減するか？
• RQ3 固定された豊富な表現は、OoDベンチマークにおいて通常のERM手法に対しても性能を向上させることができるか？
• RQ4 複数の発見された特徴を統合する合成フェーズは、個々の発見ラウンドと比較して性能を顕著に向上させるか？
• RQ5 Bonsai初期化は、OoD設定におけるモデル選択およびハイパーパramータチューニングの信頼性にどのように影響するか？

主な発見

• Bonsai初期化は、ColoredMNISTベンチマークにおいて6つの最先端OoD手法のOoD一般化性能を一貫して向上させる。
• Camelyon17データセットでは、Bonsai初期化によりERMが最高の公表済み結果に達するか、それを上回る性能を達成し、前例に類似するERM結果と比較して約5%の性能向上を実現する。
• Camelyon17におけるIRMv1、vREx、CLOvEのOoDテスト精度は、Bonsai初期化を用いることで著しく安定化され、罰則重みのハイパーパramータへの感受性が低下する。
• IIDおよびOoD両方の検証性能における分散が著しく低減され、実際のOoDテスト性能をより信頼できる指標として示すようになる。
• 合成フェーズは不可欠である：個々の発見ラウンド（例：ラウンド1、2、3）で訓練されたモデルのOoD精度はそれぞれ66.6±9.8、73.2±5.7、61.8±10.2にとどまり、組み合わせられた合成Bonsai表現で達成される85.2%と比べて顕著に劣る。
• Bonsai表現が固定され、ファインチューニングが行われない状態でも、ERMはWILDSのCamelyon17リーダーボードで過去のERM結果を上回る性能を達成する。これは、豊富な特徴構築から得られるインダクティブバイアスの強さを示している。