[論文レビュー] Understanding the Role of Adaptivity in Machine Teaching: The Case of Version Space Learners

Yuxin Chen, Adish Singla+3 more|arXiv (Cornell University)|Feb 14, 2018

Machine Learning and Data Classification被引用数 34

ひとこと要約

本稿は、バージョンスペース学習者における適応性の役割を調査するもので、学習者が現在の仮説に近接する仮説に基づいて仮説を更新する、新たなローカル選好モデルを提案する。従来のモデルでは適応性に利点がないのに対し、本モデルでは適応的教師が二分探索に類似した戦略を用いることで、教示長を顕著に短縮可能であり、学習者が仮説間の滑らかで解釈可能な移行を重視する状況では、適応性が不可欠であることが示された。

ABSTRACT

In real-world applications of education, an effective teacher adaptively chooses the next example to teach based on the learner's current state. However, most existing work in algorithmic machine teaching focuses on the batch setting, where adaptivity plays no role. In this paper, we study the case of teaching consistent, version space learners in an interactive setting. At any time step, the teacher provides an example, the learner performs an update, and the teacher observes the learner's new state. We highlight that adaptivity does not speed up the teaching process when considering existing models of version space learners, such as "worst-case" (the learner picks the next hypothesis randomly from the version space) and "preference-based" (the learner picks hypothesis according to some global preference). Inspired by human teaching, we propose a new model where the learner picks hypotheses according to some local preference defined by the current hypothesis. We show that our model exhibits several desirable properties, e.g., adaptivity plays a key role, and the learner's transitions over hypotheses are smooth/interpretable. We develop efficient teaching algorithms and demonstrate our results via simulation and user studies.

研究の動機と目的

• アルゴリズム的機械教示における適応性が、教示効率をどのように向上させるか、またいつ向上させるかを理解すること。
• 従来のモデル（最悪ケースや選好ベースの学習者など）の限界に対処すること。これらのモデルでは、教示時間の短縮において適応性に利点がない。
• 学習者が滑らかで段階的な仮説更新を好む人間らしい学習行動を捉える、新たなローカル選好モデルを提案すること。
• 学習者状態のフィードバックを活用して教示シーケンス長を最小化する適応的教示アルゴリズムを開発すること。
• シミュレーションとユーザースタディを用いてモデルとアルゴリズムを検証し、適応性の実用的影響を示すこと。

提案手法

• 学習者が現在の仮説に近接する仮説を選択することで、滑らかな移行を保証するローカル選好モデルを提案する。
• 各ステップで学習者の目標仮説への距離を最小化するためのグリーディーヒューリスティックを導入し、適応的教示を実現する。
• Ada-Rと呼ばれる適応的教師アルゴリズムを設計し、ローカル選好モデルを用いて例を選び、二分探索戦略により教示長を短縮する。
• Non-Rを非適応的ベースラインとして開発し、フィードバックなしに教示シーケンスを構築することで、適応性の利点を比較対象とする。
• 異なる仮説クラスと学習行動の下で、適応的教示と非適応的教示の性能を、シミュレーションとユーザースタディを用いて評価する。
• 距離尺度（例：dist_e）とオракル関数を用いて、学習者の不確実性をモデル化し、例選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 学習者がローカル選好ルールに従う場合、適応性が機械教示における教示速度向上を測定可能に与えるか？
• RQ2 教示効率の観点から、ローカル選好モデルはグローバル選好や最悪ケースモデルとどのように異なるか？
• RQ3 非適応的メソッドが線形長を要する状況において、適応的教示アルゴリズムが対数的教示長を達成できるか？
• RQ4 人間参加者が、提案されたローカル選好モデルと整合した行動を示す程度はどの程度か？
• RQ5 滑らかで解釈可能な仮説移行は、教示パフォーマンスと学習者の解釈可能性にどのように影響を与えるか？

主な発見

• 学習者がローカル選好に従う場合、適応性により顕著な教示速度向上が得られ、必要な例数が特定の状況でΩ(|ℓ|)からO(log|ℓ|+1)に短縮される。
• これに対して、非適応的教師は、同じタスクにおいて最悪ケースでΩ(|ℓ|)の例数を要するため、本モデル下では適応性が不可欠であることが示された。
• 提案されたAda-R適応的教師アルゴリズムは、二分探索に類似した性能を達成し、各ステップで不確実性を戦略的に低減することで教示長を最小化する。
• ユーザースタディの結果、参加者の仮説更新行動はローカル選好モデルと整合しており、人間の教示文脈における妥当性が裏付けられた。
• ローカル選好モデルにより、仮説間の滑らかで解釈可能な移行が可能となり、学習プロセスの教示可能性と解釈可能性が向上した。
• 理論的分析により、目標仮説への距離を最小化するためのグリーディーヒューリスティックが、本モデル下で最適または近似的最適な教示シーケンスを導くことが示された。