[論文レビュー] Interpretable and Personalized Apprenticeship Scheduling: Learning Interpretable Scheduling Policies from Heterogeneous User Demonstrations

Rohan Paleja, Andrew Silva+2 more|arXiv (Cornell University)|Jun 14, 2019

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本稿では、スパースなニューラルネットワークと変分推論を用いて、多様な人間のデモから解釈可能でパーソナライズされたスケジューリング方針を抽出する、新しいアプローチであるPersonalized Neural Trees (PNT) を提案する。実世界のデータにおいて88.22%の模倣精度を達成し、ベースラインを+11%上回る。また、ユーザースタディーにより、ブラックボックス型ニューラルネットワークよりも顕著に解釈可能で検証が容易であることが確認された（p < 0.01）。

ABSTRACT

Resource scheduling and coordination is an NP-hard optimization requiring an efficient allocation of agents to a set of tasks with upper- and lower bound temporal and resource constraints. Due to the large-scale and dynamic nature of resource coordination in hospitals and factories, human domain experts manually plan and adjust schedules on the fly. To perform this job, domain experts leverage heterogeneous strategies and rules-of-thumb honed over years of apprenticeship. What is critically needed is the ability to extract this domain knowledge in a heterogeneous and interpretable apprenticeship learning framework to scale beyond the power of a single human expert, a necessity in safety-critical domains. We propose a personalized and interpretable apprenticeship scheduling algorithm that infers an interpretable representation of all human task demonstrators by extracting decision-making criteria via an inferred, personalized embedding non-parametric in the number of demonstrator types. We achieve near-perfect LfD accuracy in synthetic domains and 88.22\\% accuracy on a planning domain with real-world, outperforming baselines. Finally, our user study showed our methodology produces more interpretable and easier-to-use models than neural networks ($p &lt; 0.05$).

研究の動機と目的

• 多様でパーソナライズされたヒューリスティクスや経験則を使用する、異種のヒューリスティクスを持つ人間のスケジューリング専門家から学ぶ課題に対処する。
• 同質なデモーターを仮定する伝統的なアプローチの限界を克服し、多様な意思決定行動を捉えること。
• データ効率的で解釈可能なフレームワークを構築し、高い精度を維持するとともに、学習済み方針の後処理による解釈を可能にする。
• スケジューリング意思決定の透明性と検証可能性を保証することで、医療や製造業などの安全が重要な分野への実用的導入を可能にする。
• 実世界のヒューマン-AI協働環境において、ニューラルネットワークから導出された解釈可能なモデルがブラックボックス型の代替案よりも使いやすく信頼性が高いことを実証する。

提案手法

• デモーターごとにスパースで分離された埋め込みを備えたパーソナライズドニューラルネットワークアーキテクチャを設計し、デモーター数の制限なしに個々の意思決定基準をモデル化する。
• 変分推論を用いて各デモーターの独自戦略を表す潜在コードを推論し、異種のデモから多モード行動をモデル化可能にする。
• 敵対的模倣学習の目的関数を用いて訓練し、専門家の軌道を再現するとともに、スパarsityによって解釈可能性を維持する。
• 訓練済みニューラルネットワークを後処理でブール型意思決定木に離散化し、方針論理の直接的人間による解釈を可能にする。
• ネットワークのスパarsityを活用して、顕著な精度損失なしに人間が読みやすい意思決定木への変換を容易にする。
• 合成および実世界のスケジューリング分野（病院や工場の調整タスクを含む）にこのフレームワークを適用し、実データセット上での実証的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 同一のアプローチが、同質性を仮定しない複数の異種人間デモーターから、多様なスケジューリング戦略を効果的にモデル化できるか？
• RQ2 ニューラルネットワークベースの方針が、高い精度を維持したまま、人間が検証可能な解釈可能な意思決定木に変換可能か？
• RQ3 得られた解釈可能なモデルが、実世界の設定においてブラックボックス型ニューラルネットワークと比較して、解釈性、シミュレーションのしやすさ、検証速度の面で優れているか？
• RQ4 本フレームワークは、合成的および実世界のスケジューリングタスクにおいて、最先端の手法と比較して、どの程度精度と頑健性が向上するか？
• RQ5 人間の認知と使いやすさの観点から、導出された意思決定木の解釈性はブラックボックス型ニューラルネットワークと比べてどの程度優れているか？

主な発見

• Personalized Neural Tree (PNT) フレームワークは、実世界のスケジューリングデータで88.22%の模倣精度を達成し、先行研究のベースラインを+11%上回った。
• 合成ドメインでは、PNTはほぼ完璧な模倣精度を達成し、優れた一般化能力と表現力の高さを示した。
• ユーザースタディーでは、PNTから導出された解釈可能な意思決定木が、ブラックボックス型ニューラルネットワークよりも顕著に解釈可能（p < 0.05）、シミュレーションが容易（p < 0.01）、検証が速やか（p < 0.01）であることが示された。
• 離散化された意思決定木は高い性能を維持しており、変換後も合成的および実世界の両ドメインで、従来のベンチマークを上回った。
• 本手法は、デモーターの種類数に制限を設けずに、異種デモーターからの多モード行動を効果的に捉えることができ、パーソナライズドポリシー学習を可能にした。
• 本フレームワークは強く再現可能であり、すべてのコード、データセット、および訓練済みモデルをコミュニティの再利用と検証を支援するために公開した。