[論文レビュー] Estimate and Replace: A Novel Approach to Integrating Deep Neural Networks with Existing Applications

Guy Hadash, Einat Kermany+4 more|arXiv (Cornell University)|Apr 24, 2018

Topic Modeling参考文献 21被引用数 19

ひとこと要約

この論文では、エンドツーエンド学習中に外部アプリケーションの振る舞いを模倣する微分可能推定器（EstiLayer）を訓練することで、非微分可能な外部アプリケーションをディープニューラルネットワーク（DNN）に統合する新しい手法「Estimate and Replace」を紹介する。推論時には、推定器が実際の外部APIに置き換えられ、純粋なDNNと比較して少ないデータで優れた性能を達成できる。

ABSTRACT

Existing applications include a huge amount of knowledge that is out of reach for deep neural networks. This paper presents a novel approach for integrating calls to existing applications into deep learning architectures. Using this approach, we estimate each application's functionality with an estimator, which is implemented as a deep neural network (DNN). The estimator is then embedded into a base network that we direct into complying with the application's interface during an end-to-end optimization process. At inference time, we replace each estimator with its existing application counterpart and let the base network solve the task by interacting with the existing application. Using this 'Estimate and Replace' method, we were able to train a DNN end-to-end with less data and outperformed a matching DNN that did not interact with the external application.

研究の動機と目的

• 非微分可能な外部アプリケーションをエンドツーエンドのディープラーニングパイプラインに統合する課題に対処すること。
• 事前に存在する正確な外部アプリケーションを活用することで、DNNの学習に必要なデータ量を削減すること。
• 学習中に微分可能なプロキシを通じて、DNNが外部APIとの正しいインターフェース相互作用を学習できるようにすること。
• 推論時に学習済みの推定器を実際のAPIに置き換えることで、モデルの汎化性能と精度が向上することを示すこと。

提案手法

• 非微分可能な外部アプリケーションの振る舞いを推定する微分可能なニューラルネットワークコンponent（EstiLayer）を導入する。
• EstiLayersがターゲットAPIの入出力動作に適合するように制約を課しながら、エンドツーエンドで全ネットワーク（EstiNet）を訓練する。
• 主なDNNと同時に最適化され、EstiLayersが外部アプリケーションの機能を正確に再現するよう強制されるマルチタスク学習プロセスを採用する。
• 事前学習済みモデルで初期化するオンラインプレトレーニングを適用し、収束性と汎化性能を向上させる。
• 推論時には、各EstiLayerを実際の外部アプリケーションAPIに置き換えることで、実際の相互作用を可能にしつつ、訓練済みネットワークのインターフェース論理を保持する。
• オフラインプレトレーニングとオンラインファインチューニングを組み合わせたハイブリッド学習戦略を採用し、限られたデータでのモデル性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非微分可能な外部アプリケーションと、微分可能なプロキシを通じてエンドツーエンドで相互作用できるディープニューラルネットワークを学習できるか？
• RQ2 推論時に学習済みの推定器を実際の外部APIに置き換えることで、モデルの精度と汎化性能が向上するか？
• RQ3 純粋なDNNベースラインと比較して、Estimate and Replaceアプローチが訓練データ量を削減できるか？
• RQ4 特に少データまたはフェイシュット（few-shot）・低データ環境下で、この手法はどの程度効果的か？
• RQ5 インターフェース学習と選択を通じて、モデルは複数の外部APIを正しくオ케ストレーションできるか？

主な発見

• Estimate and Replace手法は、10,000件の訓練サンプルのみで論理的推論タスクで0.98の推論精度を達成し、ベースラインDNNを大きく上回った。
• オンラインプレトレーニングを適用した場合、訓練精度と推論精度の両方が0.98に達し、限られたデータでも強い汎化性能を示した。
• 250件の小さなデータセットでは、オンライン学習手順が96.6％のテスト精度を達成したのに対し、単純な訓練ベースラインではたった53.3％にとどまり、相対的に81％の向上を示した。
• データサイズが小さくなるほど、オンライン学習と単純な学習の性能差が拡大したため、Estimate and Replaceが特に低データ環境で顕著に効果的であることが示された。
• 非微分可能なコンponentsが存在する中でも、この手法によりDNNが正しいAPIインタラクションパターン（ハード選択や型付き引数処理など）を学習できた。
• このアプローチにより、データ要件を最大95％まで削減できた：標準DNNが必要とするデータの5％のみで97％の精度を達成した。