[論文レビュー] Changing Model Behavior at Test-Time Using Reinforcement Learning

Augustus Odena, Dieterich Lawson+1 more|arXiv (Cornell University)|Feb 24, 2017

Machine Learning and Data Classification被引用数 19

ひとこと要約

本論文では、入力に依存する制約に基づいて、事前に訓練されたモジュールからComposerモデルが選択することで、推論時におけるモデル動作を動的に調整する強化学習ベースの手法を提案する。ポリシー・プレファレンスを導入することで、コントローラーはパラメータ数やモジュールの多様性といった計算リソースの使用をリアルタイムで調整可能となり、再訓練なしに精度、効率、リソース使用のバランスを取れる1つのモデルを実現する。

ABSTRACT

Machine learning models are often used at test-time subject to constraints and trade-offs not present at training-time. For example, a computer vision model operating on an embedded device may need to perform real-time inference, or a translation model operating on a cell phone may wish to bound its average compute time in order to be power-efficient. In this work we describe a mixture-of-experts model and show how to change its test-time resource-usage on a per-input basis using reinforcement learning. We test our method on a small MNIST-based example.

研究の動機と目的

• 再訓練なしに、速度、メモリ、電力などのランタイム制約に適応する機械学習モデルの挑戦に取り組む。
• トレーニング時にトレードオフをハードコードするのではなく、テスト時に入力に応じた動的な計算調整を可能にする。
• 各入力に対してどのモジュールが使用されたか、およびどのようなプレファレンス下で使用されたかを追跡することで、解釈可能性を提供する。
• 再訓練なしに、チューナブルなプレファレンスを通じてランタイムでのモデル動作変更を可能にする。
• 1つの訓練済みモデルが、複数の運用環境（例：高精度対低計算リソース）において、特化型モデルと同等の性能を達成できることを示す。

提案手法

• Composerモデルは、メタレイヤーごとに複数のモジュール（ニューラルネットワーク）から選択するコントローラー・ネットワークを用い、入力ごとに動的計算グラフを構築する。
• コントローラーは、正しい予測の対数尤度を最大化するようにREINFORCEにより訓練され、モジュール選択の確率的サンプリングが用いられる。
• ポリシー・プレファレンスは、プレファレンス依存のコスト項を報酬関数に追加することで導入され、プレファレンスγはテスト時にコントローラーに入力される。
• 2種類のプレファレンスを実装：グリムプス・プレファレンス（モジュールのサイズによるパラメータ使用量の制御）とエントロピー・プレファレンス（バッチ全体におけるモジュール使用のバランスを促進）。
• コントローラーはトレーニング中にプレファレンスγの分布全体にわたって方策を調整するよう学習し、ランタイムでの適応を可能にする。
• 本手法は、入力ごとまたはミニバッチごとにプレファレンスを変更可能であり、性能とリソース消費の間でリアルタイムのトレードオフを実現できる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークモデルが、入力の特徴とユーザー定義の制約に基づいて、推論時に計算複雑性を動的に調整できるか？
• RQ2 強化学習コントローラーが再訓練なしに、効率的かつ入力に依存するモジュール選択を学習できる程度はどの程度か？
• RQ3 ポリシー・プレファレンスの使用が、パラメータ使用量の削減やモジュール利用のバランスを実現するランタイムでのモデル動作適応にどの程度有効か？
• RQ4 1つの訓練済みモデルが、高精度対低計算リソースといった異なる運用環境において、特化型モデルと同等の性能を達成できるか？
• RQ5 本手法が、どのモジュールが使用され、どのようなプレファレンス下で使用されたかを明らかにすることで、解釈可能性を提供するか？

主な発見

• グリムプスおよびエントロピー・プレファレンスを併用して訓練したComposerモデルは、テスト時に計算使用量を適応的に調整し、異なるプレファレンス設定で平均パラメータ数の範囲を達成した。
• 計算量を低くしたいプレファレンスが高い場合、左半分に完全に表示される「左」の数字に対して、小規模モジュールを用いることで、コストを削減しながらも精度を維持する。
• グリムプス・プレファレンスが非常に低い場合にのみ、右の数字に対しても小規模モジュールが使用され始めるため、知的な入力に依存する意思決定がなされていることが示された。
• Composer曲線とベースラインモデル（モジュール間をランダムに切り替える）との差は、コントローラーがランダム選択よりも知的かつ性能を維持する選択をしていることを示している。
• ヒートマップでは、プレファレンス値の変化に伴い、コントローラーのモジュール選択ポリシーが一貫してシフトしており、左の数字では小規模モジュールを優先し、コスト制約が厳しくなるにつれて右の数字に対しても同様の選択がなされる。
• 本手法により、再訓練なしに動的かつリアルタイムでの動作変更が可能であり、エントロピー・プレファレンス機構により、手動のスケジュール調整なしにモジュール使用のバランスが保証される。