[論文レビュー] A Validation and Quality Assessment Method with Metamorphic Relations for Unsupervised Machine Learning Software.

Zhiyi Zhang, Xiaoyuan Xie+3 more|arXiv (Cornell University)|Jul 27, 2018

Data Stream Mining Techniques被引用数 1

ひとこと要約

本稿では、ユーザーが定義するメタモーフィックリレーションシップ（MR）を活用して、ユーザーの期待に沿ったシステム動作を評価する、非教師あり機械学習システムを検証するためのメタモーフィックテスト手法METTLEを提案する。この手法により、エンドユーザーはアプリケーション固有の要件に基づいてクラスタリングシステムの評価・検証・選定が可能となり、実世界の6つのクラスタリングツールにおいて、ユーザー主導の適切性基準を用いて有効性が示された。

ABSTRACT

Unsupervised machine learning is the training of an artificial intelligence system using information that is neither classified nor labeled, with a view to modeling the underlying structure or distribution in a dataset. Since unsupervised machine learning systems are widely used in many real-world applications, assessing the appropriateness of these systems and validating their implementations with respect to individual users' requirements and specific application scenarios$\,/\,$contexts are indisputably two important tasks. Such assessment and validation tasks, however, are fairly challenging due to the absence of a priori knowledge of the data. In view of this challenge, we develop a $ extbf{MET}$amorphic $ extbf{T}$esting approach to assessing and validating unsupervised machine $ extbf{LE}$arning systems, abbreviated as METTLE. Our approach provides a new way to unveil the (possibly latent) characteristics of various machine learning systems, by explicitly considering the specific expectations and requirements of these systems from individual users' perspectives. To support METTLE, we have further formulated 11 generic metamorphic relations (MRs), covering users' generally expected characteristics that should be possessed by machine learning systems. To demonstrate the viability and effectiveness of METTLE we have performed an experiment involving six commonly used clustering systems. Our experiment has shown that, guided by user-defined MR-based adequacy criteria, end users are able to assess, validate, and select appropriate clustering systems in accordance with their own specific needs. Our investigation has also yielded insightful understanding and interpretation of the behavior of the machine learning systems from an end-user software engineering's perspective, rather than a designer's or implementor's perspective, who normally adopts a theoretical approach.

研究の動機と目的

• ラベル付きデータや事前の知識が存在しないことによる、非教師あり機械学習システムの検証の課題に対処すること。
• 理論的システム動作と現実応用における実際のユーザー期待とのギャップを埋めること。
• エンドユーザーがその特定の要件に基づいてクラスタリングシステムの評価と選定が可能な手法を開発すること。
• エンドユーザー視点から一般的に期待されるシステム特性を反映する汎用的メタモーフィックリレーションシップを策定すること。
• ソフトウェア工学の文脈において意思決定を支援する、実用的でユーザー中心の検証フレームワークを提供すること。

提案手法

• METTLEフレームワークは、ユーザー要件に基づいて非教師あり学習システムの期待される動作特性を表現する11の汎用的メタモーフィックリレーションシップ（MR）を採用している。
• 各MRは、入力データの変更とそれに伴う出力の予測可能な変化との関係を定義する変換ルールを提供し、真のラベルがなくても一貫性のチェックが可能となる。
• 変換された入力に対するシステム出力を評価することで、実装上の欠陥やユーザー期待との不一致を検出する。
• ユーザー定義のMRに基づく適切性基準をテストに活用し、特定の応用文脈に適合するよう保証する。
• 理論的正しさからではなく、エンドユーザーのソフトウェア工学的視点における実用的使いやすさへの検証の焦点を移行する。
• フレームワークは、6つの広く使われているクラスタリングアルゴリズムを用いて評価され、MRを適用して動作の一貫性と適切さを評価した。

実験結果

リサーチクエスチョン

• RQ1 メタモーフィックリレーションシップは、現実世界の文脈における非教師あり機械学習システムのユーザー期待を効果的に捉えることができるか？
• RQ2 ラベル付きデータが存在しない状況下で、エンドユーザーはどのようにクラスタリングシステムをそのアプリケーション要件に基づいて検証・選定できるか？
• RQ3 METTLEは、ユーザーが定義した期待と異なるクラスタリングシステムの動作不一致をどの程度検出できるか？
• RQ4 METTLEフレームワークは、非教師あり学習システムのソフトウェア工学的文脈における実用的意思決定をどのように支援するか？
• RQ5 理論的分析ではなくエンドユーザー視点からシステム動作を評価することで、どのようなインサイトが得られるか？

主な発見

• METTLEフレームワークは、ユーザー定義のメタモーフィックリレーションシップを用いて、エンドユーザーがクラスタリングシステムの評価・検証を可能にし、システム動作を特定の応用ニーズに一致させることに成功した。
• 11の汎用的MRは、データの摂動に対する安定性やクラスタ構造の一貫性といった、一般的に期待されるシステム特性を効果的に捉えた。
• MRに基づく適切性基準に従って、ラベル付きデータが存在しない状況下でも、ユーザーは要件に最も合致するクラスタリングシステムを特定・選定できた。
• 従来の理論的分析では明らかでなかった、クラスタリングアルゴリズム間の潜在的な動作の違いが、このアプローチによって明らかになった。
• エンドユーザーのソフトウェア工学的視点からシステム動作を評価することで、実用的なトレードオフや制限についての新たなインサイトが得られた。
• 実験により、METTLEが6つの広く使われているクラスタリングシステムにおいて、現実世界の検証タスクにおいて実用的かつ有効であることが示された。