[論文レビュー] Machine Teaching by Domain Experts: Towards More Humane,Inclusive, and Intelligent Machine Learning Systems

Cláudio Pinhanez|arXiv (Cornell University)|Aug 19, 2019

Machine Learning and Data Classification参考文献 29被引用数 5

ひとこと要約

本論文は、機械学習システムを、ラベル付きデータではなく、高水準の概念を用いたインタラクティブな機械学習指導を通じて、ドメイン専門家が直接構築すべきであると提唱する。これにより、より人間らしく、包摂的で、知能の高いAIが実現可能になる。本論文では、MOLA（Massive Open Learning AI）システムという概念を導入し、専門家コミュニティが協働して機械学習システムを構築することで、従来のデータ依存のディープラーニング手法と比較して、より頑健で多様性に富み、信頼性の高いシステムが実現可能になることを示す。

ABSTRACT

This paper argues that a possible way to escape from the limitations of current machine learning (ML) systems is to allow their development directly by domain experts without the mediation of ML experts. This could be accomplished by making ML systems interactively teachable using concepts, definitions, and similar high level knowledge constructs. Pointing to the recent advances in machine teaching technology, we list key technical challenges specific for such expert-centric ML systems, and suggest that they are more humane and possibly more intelligent than traditional ML systems in many domains. We then argue that ML systems could also benefit greatly from being built by a community of experts as much as open source software did, creating more inclusive systems, in terms of enabling different points-of-view about the same corpus of knowledge. Advantages of the community approach over current ways to build ML systems, as well as specific challenges this approach raises, are also discussed in the paper.

研究の動機と目的

• 現在のディープラーニングシステムが大規模なラベル付きデータに強く依存しており、機械学習専門家によって支配されているという限界を是正すること。
• 機械学習指導が、ラベルなしの機械学習専門知識に依存せずに、概念や定義を用いてMLシステムを直接構築・指導できるようにする仕組みを検討すること。
• オープンソースソフトウェアに類似したコミュニティベースの開発—具体的にはMOLA（Massive Open Learning AI）システム—が、ML分野における包摂性、レジリエンス、知能の向上にどのように寄与するかを調査すること。
• コミュニティ主導のML開発を可能にするにあたり、バイアス、合意形成の崩壊、知識の乗っ取りといったリスクを特定し、それらを緩和する方法を同定すること。

提案手法

• データ駆動型学習から概念駆動型指導へのパラダイム転換を実現する機械学習指導の導入。これにより、ドメイン専門家が定義や規則といった高水準の構成要素を用いて知識を定義できる。
• ドメイン専門家の入力を概念、制約、論理的関係といった形で受け入れるインタラクティブなMLシステムの設計。これにより、生のラベル付き例の代わりに、高水準の知識表現が可能になる。
• 大規模で多様性に富み、中立的な仲介者なしに運営されるドメイン専門家コミュニティが、MLシステムの開発と最適化に協働するMOLA（Massive Open Learning AI）フレームワークの提案。
• オープンソースソフトウェア開発と同様に、合意形成、共通のツールキット、集団デバッグを通じて、コミュニティダイナミクスを活用してシステム品質を向上させる。
• 既存の機械学習指導およびインタラクティブ学習の研究文献を基盤とし、専門家中心のインターフェースとシステムアーキテクチャに必要な技術的要件を洗い出す。
• Linux、Wikipedia、Bitcoinなどのオープンソースおよび協働システムの原則を応用し、MOLAシステムにおけるコミュニティガバナンス、バージョニング、および紛争解決のモデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 機械学習指導が、ML専門家や大規模なラベル付きデータセットに依存せずに、ドメイン専門家がMLシステムを直接構築できるようにする仕組みは何か？
• RQ2 非ML専門家が複雑なモデルを効果的に指導できるようにするインタラクティブで概念ベースのインターフェースを設計するにあたり、主な技術的課題は何か？
• RQ3 ドメイン専門家コミュニティが、個人または小規模グループによる開発と比較して、MLシステムの知能、頑健性、包摂性をどのように向上させられるか？
• RQ4 コミュニティベースのML開発に伴うリスク（例：バイアスの拡散、合意形成の失敗、知識の乗っ取り）は何か。それらをどのように緩和できるか？
• RQ5 Linuxのような成功したオープンソースプロジェクトと同様に、MOLAシステムが集団的知識、動機付け、ツールキットを活用して、高い信頼性と品質を達成する仕組みは何か？

主な発見

• ドメイン専門家による機械学習指導は、データラベル付けの負担を軽減し、非ML専門家が意味のある貢献ができるようにすることで、より人間的で包摂的なMLシステムを実現できる。
• MOLAシステムは集団知能の恩恵を受けることで、システムの目的に関するより良い合意形成が可能になり、人材の入れ替えに対しても耐性が高まり、複雑なシステム挙動の理解が集団的に行えるようになる。
• 多様な視点、共通のツールキット、共同でのデータ収集を通じて、コミュニティベースの開発は、Linuxのようなオープンソースプロジェクトの成功事例が示すように、より高品質で信頼性の高いシステムを生み出す。
• MOLAシステムは、概念的知識とコミュニティ主導のデータ収集を活用することで、データが乏しい分野におけるディープラーニングの限界を克服し、大規模なラベル付きデータセットへの依存を減らすことができる。
• Wikipedia や Ethereum のような事例で見られるように、バイアスの拡散やコミュニティの分断といったリスクは存在するが、MOLAシステムにおけるオープンで透明性の高い、協働的な構造が、ネガティブな社会的影響を緩和する強固な基盤を提供する。
• データ集約型のディープラーニングから概念ベースの指導への移行により、医療、法曹、経済学など、データが乏しくて倫理的に制約のある複雑な分野においても、知能の高いシステムの開発が可能になる可能性が開かれる。