[論文レビュー] Learning to Teach.

Fan Yang, Fei Tian+3 more|arXiv (Cornell University)|Feb 15, 2018

Online Learning and Analytics被引用数 48

ひとこと要約

本論文では、強化学習を用いて教師モデルがデータ、損失関数、仮説空間を動的に調整できる最適化フレームワークである「学びを教える」を導入している。教師と生徒の相互フィードバックを通じて共進化させることで、多様なDNNアーキテクチャーやタスクにおいて、顕著に少ない訓練データと反復回数で同等の精度を達成する。

ABSTRACT

Teaching plays a very important role in our society, by spreading human knowledge and educating our next generations. A good teacher will select appropriate teaching materials, impact suitable methodologies, and set up targeted examinations, according to the learning behaviors of the students. In the field of artificial intelligence, however, one has not fully explored the role of teaching, and pays most attention to machine \emph{learning}. In this paper, we argue that equal attention, if not more, should be paid to teaching, and furthermore, an optimization framework (instead of heuristics) should be used to obtain good teaching strategies. We call this approach “learning to teach”. In the approach, two intelligent agents interact with each other: a student model (which corresponds to the learner in traditional machine learning algorithms), and a teacher model (which determines the appropriate data, loss function, and hypothesis space to facilitate the training of the student model). The teacher model leverages the feedback from the student model to optimize its own teaching strategies by means of reinforcement learning, so as to achieve teacher-student co-evolution. To demonstrate the practical value of our proposed approach, we take the training of deep neural networks (DNN) as an example, and show that by using the learning to teach techniques, we are able to use much less training data and fewer iterations to achieve almost the same accuracy for different kinds of DNN models (e.g., multi-layer perceptron, convolutional neural networks and recurrent neural networks) under various machine learning tasks (e.g., image classification and text understanding).

研究の動機と目的

• 機械学習が重視される一方で、教育が軽視されるAI研究の不均衡を是正するため、知能的教育のための形式的フレームワークを提案すること。
• ヒューリスティック手法に依存するのではなく、最適化に基づく教育戦略を開発すること。
• 生徒の学習フィードバックに基づいて、教師モデルがデータ、損失関数、仮説空間を適応的に選択できるようにすること。
• 少ないデータと訓練ステップで、深層ニューラルネットワークの訓練をより高速に収束させ、より高い精度を達成すること。
• 本アプローチが複数のDNNアーキテクチャーや機械学習タスクに一般化可能であることを示すこと。

提案手法

• 本手法は、教師モデルが強化学習の文脈における方策ネットワークとして機能するように、教育を逐次的意思決定問題として定式化する。
• 教師モデルは、生徒モデルからのリアルタイムのフィードバックに基づき、訓練データ、損失関数、仮説空間を選択して、生徒のパフォーマンスを最適化する。
• 教師の戦略は、長期的な生徒の精度と収束速度を最大化するように、方策勾配法により最適化される。
• 生徒モデルは、教師が提供するデータと損失関数を用いて訓練され、そのパフォーマンスが教師の学習の報酬信号として使用される。
• 教師と生徒の共進化が可能であり、相互フィードバックを通じて両者が段階的に改善される。
• 本手法は、画像分類およびテキスト理解タスクにおけるMLP、CNN、RNNを含む多様なDNNに適用されている。

実験結果

リサーチクエスチョン

• RQ1 学習された教育戦略は、深層ニューラルネットワークの訓練に必要なデータ量と反復回数を削減する点で、ヒューリスティックな教育手法を上回ることができるか？
• RQ2 教師モデルがデータおよび損失関数を適応的に選択することで、生徒モデルの収束と精度にどのような影響を与えるか？
• RQ3 「学びを教える」フレームワークは、異なるDNNアーキテクチャーや機械学習タスクにどの程度一般化可能か？
• RQ4 強化学習に基づく教育戦略は、教師と生徒モデルの共進化を促進し、両者が連携して向上させることができるか？
• RQ5 フィードバック駆動型教育は、深層ニューラルネットワークの訓練におけるサンプル効率にどのような影響を与えるか？

主な発見

• 「学びを教える」フレームワークにより、顕著に少ないデータ量と反復回数で深層ニューラルネットワークの訓練が可能になり、同等の精度を維持できる。
• 本手法は、マルチレイヤーパーセプトロン、畳み込みニューラルネットワーク、再帰ニューラルネットワークを含む、複数のDNNモデルにおいて、標準的な訓練と同等のパフォーマンスを達成している。
• 本アプローチは、画像分類およびテキスト理解を含む多様な機械学習タスクで有効性を示している。
• 生徒からのフィードバックを活用することで、教師モデルは動的に教育戦略を最適化し、収束を早め、サンプル効率を向上させている。
• フレームワークは、教師と生徒の共進化を支援しており、強化学習を通じて両モデルが段階的に改善される。
• 結果として、最適化に基づく教育は、ヒューリスティックなアプローチよりも、深層学習の訓練を加速・改善する上でより効果的であることが示された。