[論文レビュー] Interpretable and Pedagogical Examples

Smitha Milli, Pieter Abbeel+1 more|arXiv (Cornell University)|Nov 2, 2017

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 11

ひとこと要約

本論文は、最初に学生ネットワークをランダムな例題で訓練し、その後固定された学生に対して教師ネットワークを訓練して教育的例題を選択する反復的訓練手法を提案する。この手法により、神経ネットワークおよび人間に対して、ルールベース、確率的、ブール論理的、階層的概念を効果的に教える解釈可能な、人間が理解できる教え方の戦略が得られ、ランダムな例題を上回る性能を発揮する。

ABSTRACT

Teachers intentionally pick the most informative examples to show their students. However, if the teacher and student are neural networks, the examples that the teacher network learns to give, although effective at teaching the student, are typically uninterpretable. We show that training the student and teacher iteratively, rather than jointly, can produce interpretable teaching strategies. We evaluate interpretability by (1) measuring the similarity of the teacher's emergent strategies to intuitive strategies in each domain and (2) conducting human experiments to evaluate how effective the teacher's strategies are at teaching humans. We show that the teacher network learns to select or generate interpretable, pedagogical examples to teach rule-based, probabilistic, boolean, and hierarchical concepts.

研究の動機と目的

• 神経ネットワークの教師と学生の間で出現する通信プロトコルの解釈可能性の欠如に対処すること。
• 学生を教師より先に訓練する反復的訓練が、より解釈可能な教え方の戦略を生み出すかどうかを調査すること。
• 得られた教え方の戦略が人間の直感的で教育的原則に適合しているかどうかを評価すること。
• 制御された人間実験を用いて、教師が生成する例題の有効性を人間への教育に評価すること。
• 共同最適化の制約が、より解釈可能で人間と調和する教え方プロトコルを生み出すかどうかを探索すること。

提案手法

• 解釈可能な学習戦略を確立するために、非教育的でランダムな分布からの例題で学生ネットワークを訓練する。
• 学生ネットワークを固定し、その性能を最大化する例題の選択または生成を教師ネットワークに訓練する。
• 合理的な教育（rational pedagogy）にインspiredされたソフトマックス最大化戦略を用い、教師の目的関数を定義する：学生の正しい概念に関する事後確信を最も高める例題を選択する。
• 合理的な教育からインスパイアされた再帰的ベイズフレームワークを用い、教師と学生の相互作用をモデル化する。教師の例題選択は、期待される学生の学習向上に基づく。
• 人間が設計した直感的な戦略との類似性および人間による概念学習実験を通じて、解釈可能性を評価する。
• 教師と学生の訓練を分離するための反復的最適化を適用し、任意で解釈不能なマッピングを引き起こす共同最適化を回避する。

実験結果

リサーチクエスチョン

• RQ1 教師と学生のネットワークを反復的に訓練することで、人間の教育的直感に適合する解釈可能な教え方の戦略が得られるか？
• RQ2 教師が生成する例題の性能は、人間への概念学習においてランダムな例題と比べてどの程度優れているか？
• RQ3 出現する教え方の戦略は、ルールベース、確率的、ブール論理的、階層的ドメインにおいて、人間が設計した直感的な教え方の戦略にどの程度類似しているか？
• RQ4 学生を訓練した後に教師を訓練する（共同最適化ではなく）プロトコルは、共同最適化よりも解釈可能で効果的な教え方の戦略を生み出すか？
• RQ5 学生のインダクティブバイアスおよび事前仮定は、解釈可能な教師行動をどのように形作るか？

主な発見

• 教師ネットワークは、すべてのテストドメイン（ルールベース、確率的、ブール論理的、階層的）において、人間が設計した戦略に非常に近い解釈可能な教育的例題を学習した。
• 人間実験において、教師の例題で教えられた被験者は確率的概念で平均18%の正答率を示したが、ランダムな例題で教えられた被験者は8%にとどまり、有意差（p < 0.001）が確認された。
• ブール論理的概念では、教師が生成した例題で教えられた被験者の平均正答率は76%であったのに対し、ランダムな例題では71%であり、統計的に有意な差（p < 0.001）が確認された。
• 教師グループの確率的概念における最高正答率は70%であったのに対し、ランダムグループでは20%にとどまり、教育的例題が学習の可能性をより高めることを示した。
• 人間被験者たちはしばしば概念の構造を誤って推論した（例：一様分布ではなく二峰性分布を仮定した）。これは、事前仮定やモデルの不一致が、優れた例題が与えられても学習を制限する要因であることを示唆している。
• 学生を最初に訓練し、その後教師を訓練する反復的訓練手順により、共同最適化では得られなかった解釈可能な教え方の戦略が得られた。これは、学生のインダクティブバイアスが教師行動を形作る上で重要であることを示している。