[論文レビュー] Guaranteeing Reproducibility in Deep Learning Competitions

Brandon Houghton, Stephanie Milani+6 more|arXiv (Cornell University)|May 12, 2020

Adversarial Robustness in Machine Learning参考文献 5被引用数 4

ひとこと要約

本論文は、保証された再現性を実現するため、保証されたテスト環境を用いてすべての最終提出物を再訓練する、深層学習のための新規なコンペティションパラダイムを提案する。学習手順を評価し、事前学習済みエージェントではなく、計算リソースとデータに対する厳密な制約を課すことで、本手法は、サンプル効率的強化学習に関するMineRLコンペティションで示されるように、頑健性、一般化性能、およびドメイン固有の知識の過剰利用の低減を実現する。

ABSTRACT

To encourage the development of methods with reproducible and robust training behavior, we propose a challenge paradigm where competitors are evaluated directly on the performance of their learning procedures rather than pre-trained agents. Since competition organizers re-train proposed methods in a controlled setting they can guarantee reproducibility, and -- by retraining submissions using a held-out test set -- help ensure generalization past the environments on which they were trained.

研究の動機と目的

• 特定の環境や非文書化された変更に過剰適合するため、深層学習コンペティションにおける再現性と一般化の欠如を是正すること。
• 事前学習済みエージェントから学習手順への評価の移行により、サンプル効率的学習アルゴリズムの開発を促進すること。
• 再訓練を視覚的に変更された環境（新しいテクスチャパックを用いた環境）で実施することで、ドメイン固有の知識への依存を低減すること。
• 第二ラウンドで上位10チームに限定して再訓練を行うことで、主催者がスケーラブルな計算モデルを提供すること。
• 成功した提出物のテキストおよび動画デモを提供することで、参加者の関与度と信頼性を向上させること。

提案手法

• 主催者は、新しいテクスチャパックを備えたホールドアウトテストセットを用いて、制御された環境ですべての最終提出物を再訓練し、再現性と頑健性を保証する。
• 参加者は、事前学習済みエージェントではなく、学習手順のパフォーマンスに基づいて評価され、訓練環境を超えた一般化を促進する。
• サンプル効率性を向上させるために、熟練者および非熟練者の両方のヒューマンデモの大量データセットが提供され、時間の到達など単純な指標によるサブタスクが定義される。
• 視覚的変更を加えて再シミュレーションすることで、意味的に同等だが視覚的に異なる別のデータセットが作成され、分布シフトのテストが可能になる。
• 2ラウンド構造を採用：第一ラウンドは広範な参加を許可し、第二ラウンドでは計算コストを管理するため上位10チームに再訓練を限定する。
• 主催者は、計算時間と環境サンプルの制限を課すことで、サンプル効率性を確保し、過剰適合を防止する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング設定や環境構成のばらつきに対しても、再現性を保証できるように深層学習コンペティションをどのように構造化できるか？
• RQ2 事前学習モデルに依存せずに学習手順を評価できる範囲はどの程度で、一般化性能と頑健性を促進できるか？
• RQ3 特に非熟練者やクラウドソーシングによるデモは、高価な熟練者ラベルの必要がない状況で、どのようにサンプル効率性を向上させるか？
• RQ4 再訓練を制御された変更された環境でする必要がある場合、計算コストと両立できるように主催者がどのようにバランスを取れるか？
• RQ5 視覚的摂動（例：新しいテクスチャパック）は、学習済みポリシーの頑健性にどのような影響を及ぼし、一般化を検証するためにどのように利用できるか？

主な発見

• 環境の新しい、未観測のテクスチャパックで最終提出物を再訓練することで、再現性が保証され、視覚的分布シフトに対する頑健性が検証される。
• 2ラウンド構造は、計算負荷を制限しつつも、上位モデルの厳密な再評価を可能にするという点で成功している。
• 成功した提出物のテキストおよび動画デモの提供により、参加者の信頼性が向上し、コンペティション全体を通じて関与度が維持された。
• 単純なサブタスク指標を用いたクラウドソーシングによるデモは、高価な熟練者ラベルが不要な状況で効果的なインピーリテーションラーニングを可能にした。
• 視覚的特徴を変更した再シミュレーションデータセットの使用により、意味的に同等だが視覚的に異なる訓練データセットとテストデータセットの作成が可能になり、一般化のテストが強化された。
• このパラダイムにより、環境固有の知識の過剰利用が顕著に低減された。視覚的特徴に依存するポリシーは、新しいテクスチャパックでテストされた際、失敗した。