[論文レビュー] An Interactive Machine Learning Framework

Teng Lee, James Weldon Johnson+1 more|arXiv (Cornell University)|Oct 18, 2016

Data Visualization and Analytics参考文献 7被引用数 13

ひとこと要約

本稿では、勾配ブースティングツリーとリアルタイムの可視化フィードバックを統合したインタラクティブな機械学習フレームワーク、Transparent Boosting Tree (TBT) を提案する。ユーザーは直感的な操作によりモデル構造を変更可能であり、機械学習と人間知能の間のフィードバックループを閉じることで、モデルの解釈可能性を向上させ、過学習を低減し、実世界のデータセットにおけるユーザー主導の刈り込みと特徴選択を通じて性能を向上させる。

ABSTRACT

Machine learning (ML) is believed to be an effective and efficient tool to build reliable prediction model or extract useful structure from an avalanche of data. However, ML is also criticized by its difficulty in interpretation and complicated parameter tuning. In contrast, visualization is able to well organize and visually encode the entangled information in data and guild audiences to simpler perceptual inferences and analytic thinking. But large scale and high dimensional data will usually lead to the failure of many visualization methods. In this paper, we close a loop between ML and visualization via interaction between ML algorithm and users, so machine intelligence and human intelligence can cooperate and improve each other in a mutually rewarding way. In particular, we propose "transparent boosting tree (TBT)", which visualizes both the model structure and prediction statistics of each step in the learning process of gradient boosting tree to user, and involves user's feedback operations to trees into the learning process. In TBT, ML is in charge of updating weights in learning model and filtering information shown to user from the big data, while visualization is in charge of providing a visual understanding of ML model to facilitate user exploration. It combines the advantages of both ML in big data statistics and human in decision making based on domain knowledge. We develop a user friendly interface for this novel learning method, and apply it to two datasets collected from real applications. Our study shows that making ML transparent by using interactive visualization can significantly improve the exploration of ML algorithms, give rise to novel insights of ML models, and integrates both machine and human intelligence.

研究の動機と目的

• 勾配ブースティングツリーのようなアンサンブル手法における解釈不能性と透明性の欠如に対処すること。
• モデル学習中にインタラクティブなフィードバックを可能にすることで、機械知能と人間の専門知識のギャップを埋めること。
• モデル構造、予測統計、学習の進行状況をリアルタイムに可視化するユーザーフレンドリーなインターフェースの開発。
• 分野知識に基づいて、モデルの構成要素（例：ツリー、特徴、ノード）を変更可能にすることで、モデルの汎化性能と解釈可能性を向上させること。
• 実世界のデータセット上でフレームワークを評価し、モデル理解力と性能の向上を実証すること。

提案手法

• フレームワークは勾配ブースティングツリー（GBT）をコアな機械学習アルゴリズムとして採用し、予測誤差を最小化するように段階的にアンサンブル木を構築する。
• TBTは各学習ステップでモデル構造、特徴量の重要度、パスの純度、トレーニング／テスト誤差を可視化し、リアルタイムでの解釈可能性を提供する。
• ユーザーは複数のレベルでモデルと対話可能である：フォレスト（ツリーの追加／削除）、ツリー（ノードの拡張／変更）、特徴（許可／ブロック）、時間（以前の状態に復元）。
• 「このノードをすべてのツリーで削除／拡張」機能により、パスに沿って全ツリーにわたるグローバルな構造的変更が可能となり、ユーザー定義の意思決定ルールが反映される。
• ユーザーのフィードバックは次回の学習イテレーションにおける制約としてエンコードされ、人間の知見に基づいたモデルの適応が可能になる。
• システムはモデルの進化を追跡する履歴ビューを維持しており、ロールバックやイテレーション間でのパフォーマンス比較が可能である。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな可視化は、勾配ブースティングツリーのような複雑な機械学習モデルの解釈性をどのように向上させるか？
• RQ2 モデル学習中に得られるユーザーのフィードバックは、モデルのパフォーマンスと汎化性能をどのように向上させるか？
• RQ3 刈り込みや特徴制限といったインタラクティブなユーザー操作は、アンサンブルモデルにおける過学習を軽減できるか？
• RQ4 リアルタイムの可視化フィードバックは、モデルの最適化における人間の意思決定をどのように支援するか？
• RQ5 人間の分野知識は、モデルの透明性と学習効率をどの程度向上させられるか？

主な発見

• TBTは、勾配ブースティングツリーの学習プロセス全体を可視化でき、各ステップでモデル構造、特徴量の使用状況、予測統計をカバーしている。
• ユーザーは冗長または冗長に似たツリーのパスを特定し、性能に影響を与えずにモデルの複雑さを顕著に低減できた。
• パスの純度ビューと履歴追跡により、ユーザーは過学習を早期に検出でき、的確な刈り込みを実施し、汎化性能を向上させた。
• 「このノードをすべてのツリーで削除／拡張」機能により、ユーザーが定義した意思決定ルールをモデル全体にグローバルに反映でき、分野レベルの論理をモデルに統合できた。
• ユーザーの操作により、性能向上が明確に測定され、マッシュルームおよび糖尿病のデータセットにおいて、復元されたモデルがベースラインのGBTを上回った。
• ユーザーのフィードバックとモデル再学習のインタラクティブなループは、人間をモデルのフィードバックループに組み込むことで、モデルの透明性と解釈可能性が向上することを示した。