[論文レビュー] Fortuitous Forgetting in Connectionist Networks

Hattie Zhou, Ankit Vani+2 more|arXiv (Cornell University)|Feb 1, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、選択的忘却を介して不要な情報を除去し、反復的再訓練によって有用な特徴を強化することで一般化性能を向上させる、忘れることと再学習するという枠組みを提案する。著者らは、画像分類および言語出現タスクにおける多数の成功した反復的訓練アルゴリズムが、このフレームワークの具体例であることを示し、標的的な忘却が一般化可能な表現へのモデルの方向付けを改善することで性能向上を実現することを示している。

ABSTRACT

Forgetting is often seen as an unwanted characteristic in both human and machine learning. However, we propose that forgetting can in fact be favorable to learning. We introduce "forget-and-relearn" as a powerful paradigm for shaping the learning trajectories of artificial neural networks. In this process, the forgetting step selectively removes undesirable information from the model, and the relearning step reinforces features that are consistently useful under different conditions. The forget-and-relearn framework unifies many existing iterative training algorithms in the image classification and language emergence literature, and allows us to understand the success of these algorithms in terms of the disproportionate forgetting of undesirable information. We leverage this understanding to improve upon existing algorithms by designing more targeted forgetting operations. Insights from our analysis provide a coherent view on the dynamics of iterative training in neural networks and offer a clear path towards performance improvements.

研究の動機と目的

• ニューラルネットワークにおける忘却を、失敗の原因ではなく一般化性能の向上に寄与する有益なメカニズムとして再定式化すること。
• 画像分類および言語出現分野における多様な反復的訓練アルゴリズムを、共通の忘れることと再学習のフレームワークの下に統合すること。
• これらのアルゴリズムの成功が、望ましくない情報の非対称的忘却に起因することを特定すること。
• 有用な特徴を保持し、有害な特徴を除去するように、より標的化された忘却操作を設計すること。
• 反復的再訓練が制御された忘却を通じてどのようにより良い一般化をもたらすかについて、理論的かつ実験的Understandingを提供すること。

提案手法

• 訓練精度を現在のモデルの性能より下げるが、確率的変換としての忘却操作を定義し、それが完全にランダムなノイズではなく、部分的な情報の削除を保証する。
• 忘れることと再学習のプロセスを、繰り返しの段階（精度の低下）と再訓練（同じデータ上で精度の向上）の交互に繰り返す形式として形式化する。
• ネットワークとデータセット間の相互情報量を用いて、忘却が特定の非ランダムな情報を削除するものであることを保証する。
• 既存のアルゴリズム（例：反復的マグニチュードプルーニング、知識進化、自己蒸留）を忘れることと再学習の具体例として再解釈する。
• 有用でない特徴を特定的に消去しながら、一般化可能な特徴を保持するような標的忘却メカニズム（例：部分的バランス忘却（PBF））を設計する。
• 特に合成構造が重要な言語出現タスクにおいて、学習ダイナミクスと学習された表現を通じて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおける忘却は、学習の失敗ではなく、学習に有益である可能性があるか？
• RQ2 画像分類および言語出現分野における多様な反復的訓練アルゴリズムの背後にある共通のメカニズムは何か？
• RQ3 自己蒸留やプルーニングといった反復的訓練手法がなぜ一般化性能を向上させるのか？
• RQ4 有用な特徴を保持し、有害な特徴を除去するために、忘却をどのようにより標的化できるか？
• RQ5 選択的忘却は、ニューラルネットワークの訓練において、どの程度一般化性能の向上に寄与するのか？

主な発見

• 忘れることと再学習のフレームワークは、知識進化、反復的マグニチュードプルーニング、自己蒸留といった多数の成功した反復的訓練アルゴリズムを、選択的忘却という共通のメカニズムの下に統合している。
• 一般化性能を向上させるアルゴリズムは、望ましくない情報を特に多く忘却するが、さまざまな学習条件にわたって有用な特徴は保持している。
• 部分的バランス忘却（PBF）のような標的忘却操作は、より構成的・構造的な通信を促進することで、言語出現タスクにおける性能を顕著に向上させる。
• 言語出現実験において、PBFを用いたモデルは、忘却なしのモデルと比較して、より置換に類似した、構成的な入力とメッセージの対応を発達させた。
• 忘却プロセスにより、学習条件の変化に伴い一貫して有用であると判明した特徴が強調され、一般化性能が向上する。
• 理論的分析により、データセットとの正の相互情報量を維持する忘却操作は、再学習を可能にし、モデル性能の向上に有効であることが示された。