[論文レビュー] A glass-box interactive machine learning approach for solving NP-hard problems with the human-in-the-loop

Andreas Holzinger, Markus Plass+4 more|arXiv (Cornell University)|Aug 3, 2017

Data Visualization and Analytics被引用数 29

ひとこと要約

本論文は、巡回セールスマン問題（TSP）を含むNP困難問題を解くために、人間を統合したアンチコロニー最適化（ACO）に人間を含む意思決定を組み込むガラスボックスインタラクティブ機械学習（iML）フレームワークを提案する。ヒューリスティック選択を人間がガイドする仕組みとして、人間相互作用行列（HIM）と人間影響要因（HIF）を導入することで、透明性を向上させるとともに探索空間を縮小し、最小限のユーザー介入でベンチマークTSPインスタンスにおいて優れた解の品質を達成した。

ABSTRACT

The goal of Machine Learning to automatically learn from data, extract knowledge and to make decisions without any human intervention. Such automatic (aML) approaches show impressive success. Recent results even demonstrate intriguingly that deep learning applied for automatic classification of skin lesions is on par with the performance of dermatologists, yet outperforms the average. As human perception is inherently limited, such approaches can discover patterns, e.g. that two objects are similar, in arbitrarily high-dimensional spaces what no human is able to do. Humans can deal only with limited amounts of data, whilst big data is beneficial for aML; however, in health informatics, we are often confronted with a small number of data sets, where aML suffer of insufficient training samples and many problems are computationally hard. Here, interactive machine learning (iML) may be of help, where a human-in-the-loop contributes to reduce the complexity of NP-hard problems. A further motivation for iML is that standard black-box approaches lack transparency, hence do not foster trust and acceptance of ML among end-users. Rising legal and privacy aspects, e.g. with the new European General Data Protection Regulations, make black-box approaches difficult to use, because they often are not able to explain why a decision has been made. In this paper, we present some experiments to demonstrate the effectiveness of the human-in-the-loop approach, particularly in opening the black-box to a glass-box and thus enabling a human directly to interact with an learning algorithm. We selected the Ant Colony Optimization framework, and applied it on the Traveling Salesman Problem, which is a good example, due to its relevance for health informatics, e.g. for the study of protein folding. From studies of how humans extract so much from so little data, fundamental ML-research also may benefit.

研究の動機と目的

• 安全性が求められる分野（例：医療情報学）におけるブラックボックス機械学習の限界を克服し、透明性と説明可能性を確保すること。
• 医療情報学的応用における人間の専門知識を統合した相互学習により、TSPのようなNP困難問題の計算複雑性を低減すること。
• 意思決定プロセスの透明性と解釈可能性を高めることで、MLシステムへの信頼性と受容性を向上させること。
• GDPR要件を満たすために、説明可能な意思決定とデータ削除の影響を追跡可能にする。
• データが乏しい状況における人間の認識とアルゴリズム的最適化の相乗効果を調査すること。

提案手法

• 本手法は、人間が提供するヒューリスティクスをエンコードする人間相互作用行列（HIM）を用いて、アンチコロニー最適化（ACO）アルゴリズムを拡張する。
• 人間の入力を選択プロセスに影響を与えるためのヒューリスティック影響要因（HIF）を導入し、人間のガイドラインとフェロモン更新を分離する。
• アルゴリズムは、アンチベースの最適化フェーズとユーザーインタラクションフェーズを交互に実行する。ユーザーは一時停止し、ノードを選択し、HIMを変更して探索を制御できる。
• フェロモン更新は、解の品質に基づいてアンチのみが実行するため、人為的フェロモンの過剰な蓄積を回避する。
• JavaScriptで実装されており、ブラウザベースのクロスプラットフォーム展開が可能であり、解の進化をリアルタイムで可視化可能である。
• 大規模インスタンスのクラスタリングと局所的解の再利用により、局所探索拡張が可能であり、28ノードのTSPインスタンスで実証された。

実験結果

リサーチクエスチョン

• RQ1 人間を含む相互作用が、TSPのようなNP困難問題におけるACOの解の品質を向上させ得るか？
• RQ2 人間のヒューリスティクスを、アルゴリズム的フェロモンダイナミクスを損なわずに、メタヒューリスティクスに効果的に統合する方法は何か？
• RQ3 ガラスボックスiMLアプローチが、医療およびデータが乏しい応用分野におけるMLシステムの透明性と信頼性をどの程度向上させるか？
• RQ4 提案されたiMLフレームワークは、タンパク質折りたたみや部分空間クラスタリングのような複雑な現実世界の問題にスケーラブルに適用可能か？
• RQ5 人間の影響（HIM経由）とフェロモン更新の分離が収束性および解の安定性に与える影響はいかほどか？

主な発見

• iMLアプローチにより、HIMおよびHIFのコンponentsを介した人間によるヒューリスティック選択が可能となり、ベンチマークTSPインスタンスにおけるACO性能が向上した。
• テストインスタンスにおいて、標準ACOよりも優れた解の品質が達成され、ユーザーのインプットに基づく反復後に最適解（赤色で表示）に近づくか一致した。
• ブラウザベースの実装により、解の経路をリアルタイムでインタラクティブに可視化可能であり、各反復後に緑色の線が短い巡回路を反映して更新された。
• 人間の影響とフェロモン更新の分離により、フェロモンの過剰蓄積が防止され、アルゴリズムの安定性が維持された。
• クラスタリングされたインスタンスにおける局所探索戦略の導入により、スケーラビリティの可能性が示された。例えば、2つの14都市TSP部分問題の解を組み合わせて28ノードの解を得た。
• 説明可能な意思決定と学習プロセスにおける追跡可能な人間の入力を可能にするため、GDPR準拠が可能となった。