[論文レビュー] Datamorphic Testing: A Methodology for Testing AI Applications

Hong Zhu, Dongmei Liu+3 more|arXiv (Cornell University)|Dec 10, 2019

Software Testing and Debugging Techniques参考文献 5被引用数 9

ひとこと要約

本論文は、データ変換における入出力インヴァリアントを定義することにより、特に機械学習システムを含むAIアプリケーションのテストのための新しい手法であるデータモーフィックテストを紹介する。この手法は、変換に基づくテストケースを用いて顔認識システムの検証を実施し、工業的応用においてモデルの不一致を測定可能に特定するという有効性を示している。

ABSTRACT

With the rapid growth of the applications of machine learning (ML) and other artificial intelligence (AI) techniques, adequate testing has become a necessity to ensure their quality. This paper identifies the characteristics of AI applications that distinguish them from traditional software, and analyses the main difficulties in applying existing testing methods. Based on this analysis, we propose a new method called datamorphic testing and illustrate the method with an example of testing face recognition applications. We also report an experiment with four real industrial application systems of face recognition to validate the proposed approach.

研究の動機と目的

• AIアプリケーションの非決定的かつデータ依存的な挙動のためのテストの課題に対処すること。
• 機械学習およびAIシステムに適用した場合の従来のソフトウェアテスト手法の限界を特定すること。
• AIアプリケーションの独自の特性に特化した新しいテスト手法を提案すること。
• 実世界の工業的顔認識システムに対して提案手法を検証すること。

提案手法

• 入力が特定の方法で変換された際に出力間に成り立つインヴァリアントとして、データモーフィック関係を定義する。
• 入力データに制御されたデータ変換（例：回転、スケーリング）を適用し、出力の変化が期待されるパターンに従うかを検証する。
• 変換ペア（例：元の入力と変換済み入力）を用いて、出力挙動が事前に定義されたインヴァリアンス則を満たす必要があるテストケースを生成する。
• 正確な出力値ではなく、期待される出力関係に基づいてテストオラクルを策定することで、AIモデルの非決定的性質に対応する。
• 実際の工業的顔認識システムにこの手法を適用し、実用性および欠陓検出能力を評価する。
• 変換下でのモデル挙動の整合性を統計的分析により評価し、乖離を潜在的な欠附として特定する。

実験結果

リサーチクエスチョン

• RQ1 AIアプリケーションの非決定的かつデータに依存する挙動に対処するためのテスト手法は、どのように適合させることができるか？
• RQ2 AIシステムにおいて、入力が予測可能な方法で変換された場合に、出力間に確立可能なインヴァリアントは何か？
• RQ3 データモーフィックテストは、顔認識のような実際の工業的AIシステムにおける欠附を効果的に検出できるか？
• RQ4 欠附検出能力および実用性の観点から、データモーフィックテストは従来のテストアプローチとどのように比較できるか？

主な発見

• データモーフィックテストは、変換に基づくテストケースを用いて、4つの実際の工業的顔認識システムでモデルの不一致を成功裏に検出できた。
• 正確な出力比較に依存する従来のテスト手法では見逃された欠附を、この手法が特定した。
• 画像の回転やスケーリングなどのデータ変換下でも、微細なモデル障害を検出するという点で、本手法の頑健性が示された。
• 変換下での出力挙動の統計的分析により、潜在的なモデル欠附を示す乖離が明らかになった。
• 各テストケースに対して真値ラベルを必要とせず、深層学習モデルの誤った挙動を効果的に特定できることが実証された。
• 工業的システムでの検証により、データモーフィックテストの実用的妥当性および実世界のAIアプリケーション文脈におけるスケーラビリティが確認された。