[論文レビュー] ICE: Enabling Non-Experts to Build Models Interactively for Large-Scale Lopsided Problems

Patrice Y. Simard, David Maxwell Chickering+8 more|arXiv (Cornell University)|Sep 16, 2014

Data Stream Mining Techniques参考文献 24被引用数 15

ひとこと要約

ICE は、リアルタイムでの人間と機械の協働を可能にするスケーラブルでインタラクティブな機械学習プラットフォームを提供し、専門家でないユーザーが大規模で不均衡なデータセットに対して高精度なモデルを構築できるようにする。低遅延でメモリ上に分散されたアーキテクチャを活用することで、ユーザーとモデル間のフィードバックループを高速化し、直感的な操作によるタスクや特徴量の反復的改善を可能にし、ラベル付け作業の負荷を著しく軽減するとともに、モデルの品質を向上させる。

ABSTRACT

Quick interaction between a human teacher and a learning machine presents numerous benefits and challenges when working with web-scale data. The human teacher guides the machine towards accomplishing the task of interest. The learning machine leverages big data to find examples that maximize the training value of its interaction with the teacher. When the teacher is restricted to labeling examples selected by the machine, this problem is an instance of active learning. When the teacher can provide additional information to the machine (e.g., suggestions on what examples or predictive features should be used) as the learning task progresses, then the problem becomes one of interactive learning. To accommodate the two-way communication channel needed for efficient interactive learning, the teacher and the machine need an environment that supports an interaction language. The machine can access, process, and summarize more examples than the teacher can see in a lifetime. Based on the machine's output, the teacher can revise the definition of the task or make it more precise. Both the teacher and the machine continuously learn and benefit from the interaction. We have built a platform to (1) produce valuable and deployable models and (2) support research on both the machine learning and user interface challenges of the interactive learning problem. The platform relies on a dedicated, low-latency, distributed, in-memory architecture that allows us to construct web-scale learning machines with quick interaction speed. The purpose of this paper is to describe this architecture and demonstrate how it supports our research efforts. Preliminary results are presented as illustrations of the architecture but are not the primary focus of the paper.

研究の動機と目的

• 専門家によるラベル付けが高コストかつ時間がかかる大規模で不均衡（アンバランス）なデータセットに対して、正確な機械学習モデルを構築する課題に対処すること。
• 非専門家が直感的でリアルタイムのフィードバックを通じてモデル開発をガイドできるインタラクティブな学習システムを設計すること。
• 人間のユーザーと機械学習システムの間で高速で低遅延なやり取りを可能にするスケーラブルなインfra構造を構築すること。
• インタラクティブな学習における機械学習とユーザインターフェースの両方の課題に関する研究を支援すること。
• システムが高価値の例を選別し、ユーザーの提案を動的に統合することで、ラベル付けの負荷を軽減すること。

提案手法

• プラットフォームは、ユーザーと学習システムとの間でリアルタイムの相互作用を可能にする専用の低遅延で分散型のメモリ内アーキテクチャを採用している。
• ユーザーがトレーニング中に例のラベル付け、特徴量の提案、タスク定義の見直しを行うことで、アクティブおよびインタラクティブな学習をサポートしている。
• システムは膨大なデータセットを継続的に処理・要約し、ユーザーがラベル付けやフィードバックを行うために提示されるのは、最も情報価値の高い例に限定される。
• マシンはユーザーのインタラクションから学習し、フィードバックサイクルごとにモデルを反復的に更新することで、性能を向上させる。
• 双方向通信を可能にする相互作用言語が設計されており、ユーザーがモデルの学習プロセスを効果的にガイドできる。
• プラットフォームは、モデルのデプロイメントおよび機械学習における人間-AI協働に関する研究を両方支援するように構築されている。

実験結果

リサーチクエスチョン

• RQ1 非専門家は、最小限のラベル付け作業で、大規模で不均衡なデータセットに対して効率的にモデル開発に貢献できるか？
• RQ2 ウェブ規模で、リアルタイムかつ低遅延なユーザーと機械学習システムの相互作用を実現するためのアーキテクチャ設計は何か？
• RQ3 ユーザーのフィードバックを組み込んだインタラクティブな学習は、従来のアクティブラーニングと比較して、モデル品質をどのように向上させるか？
• RQ4 システムの応答性は、モデル開発中のユーザーの関与を維持するために果たす役割は何か？
• RQ5 スケーラブルなインfraは、同時にモデルトレーニングとインタラクティブなユーザーのフィードバックをどのようにサポートできるか？

主な発見

• ICE プラットフォームは、インタラクティブなフィードバックループを通じて、非専門家が大規模で不均衡なデータセットに対してデプロイ可能な高品質なモデルを構築できる。
• 低遅延でメモリ上に分散されたアーキテクチャにより、ユーザーのフィードバックとモデル更新の間の反復処理が迅速化され、モデル到達までの時間が著しく短縮された。
• システムは情報量の高い例を優先することでラベル付け作業の負荷を軽減し、学習の効率性を向上させた。
• ユーザーはタスク定義の見直しや特徴量の提案を動的に実施でき、より正確で精密なモデルの構築に寄与した。
• 予備的な結果では、プラットフォームが効果的な人間と機械の協働を可能にし、反復的相互作用によってモデルパフォーマンスが明確に向上することが示された。
• プラットフォームは、インタラクティブな学習における機械学習とユーザインターフェースの両方の研究を効果的に支援した。