[論文レビュー] Quality Assurance of Bioinformatics Software: A Case Study of Testing a Biomedical Text Processing Tool Using Metamorphic Testing

Madhusudan Srinivasan, Morteza Pourreza Shahri+2 more|arXiv (Cornell University)|Feb 20, 2018

Software Testing and Debugging Techniques参考文献 7被引用数 4

ひとこと要約

本稿では、LingPipe などのバイオエンティティ認識ツールにおけるオラクル問題に対処するため、10の新しいメタモーフィックリレーションシップ（MR）を用いたメタモーフィックテスト（MT）を提案する。入力変換に対する期待される出力の変化を定義するMRを適用することで、ソフトウェアの欠陥を効果的に検出可能であり、ChunkTagHandlerクラスでは83%、IndoEuropeanTokenizerクラスでは61%のミューテント殺しを達成した。これは、MTがバイオメディカルNLPソフトウェアの品質保証に実用的であることを示している。

ABSTRACT

Bioinformatics software plays a very important role in making critical decisions within many areas including medicine and health care. However, most of the research is directed towards developing tools, and little time and effort is spent on testing the software to assure its quality. In testing, a test oracle is used to determine whether a test is passed or failed during testing, and unfortunately, for much of bioinformatics software, the exact expected outcomes are not well defined. Thus, the main challenge associated with conducting systematic testing on bioinformatics software is the oracle problem. Metamorphic testing (MT) is a technique used to test programs that face the oracle problem. MT uses metamorphic relations (MRs) to determine whether a test has passed or failed and specifies how the output should change according to a specific change made to the input. In this work, we use MT to test LingPipe, a tool for processing text using computational linguistics, often used in bioinformatics for bio-entity recognition from biomedical literature. First, we identify a set of MRs for testing any bio-entity recognition program. Then we develop a set of test cases that can be used to test LingPipe's bio-entity recognition functionality using these MRs. To evaluate the effectiveness of this testing process, we automatically generate a set of faulty versions of LingPipe. According to our analysis of the experimental results, we observe that our MRs can detect the majority of these faulty versions, which shows the utility of this testing technique for quality assurance of bioinformatics software.

研究の動機と目的

• 期待される出力が明確に定義されにくいバイオインフォマティクスソフトウェアにおけるテストオラクル問題という重要な課題に対処すること。
• 検証メカニズムの欠如によりしばしばテストが行われないバイオエンティティ認識ツールを体系的にテストするアプローチを開発すること。
• メタモーフィックテスト（MT）の妥当性と有効性を、バイオメディカル自然言語処理（NLP）ツールの品質保証において評価すること。
• ユニットテストが存在しない状況においても、MTがLingPipeのような複雑なバイオインフォマティクスソフトウェアの欠陥を検出可能であることを実証すること。
• 一般のバイオエンティティ認識システムに適用可能な再利用可能なメタモーフィックリレーションシップ（MR）のセットを提供すること。

提案手法

• パラグラフの削除やシャッフル、語の再順序化、テキスト構造の変更など、バイオエンティティ認識に特化した10のドメイン固有のメタモーフィックリレーションシップ（MR）を特定する。
• これらのMRを用いて、入力テキストを予測可能な方法で変換することで、元のテストケース（ソース）とその後続のテストケース（フォローアップ）を生成する。
• LingPipeを両方のテストケース（ソースおよびフォローアップ）に対して実行し、出力の変化が期待されるMRの挙動に一致するかを検証する。
• ミューテーションテストを用いて、LingPipeの障害を含む自動生成されたバージョン（ミューテント）を生成し、MRの欠陥検出効果を評価する。
• ミューテント殺し率を分析することで、個々のMRの欠陥検出能力を評価し、特に効果的なMRを同定する。
• ソースとフォローアップのテストケース間でのステートメントカバレッジおよび実行パスの違いに基づいてMRを評価し、コード変更に対する感受性を分析する。

実験結果

リサーチクエスチョン

• RQ1 ユニットテストが存在せず、形式的なテストオラクルが得られないバイオエンティティ認識ツールにおいて、メタモーフィックテストは欠陥を効果的に検出可能か？
• RQ2 どのメタモーフィックリレーションシップがバイオエンティティ認識ソフトウェアの欠陥検出に最も効果的であり、その理由は何か？
• RQ3 異なるMRは、ミューテント殺し率およびステートメントカバレッジの観点から、どのように比較できるか？
• RQ4 ユニットテストが存在しない、あるいは実行が困難な状況において、MTは従来のテスト手法の代替として実用的か？
• RQ5 MRは、LingPipeのような複雑なバイオメディカルNLPツールにおける微細な欠陥をどの程度検出可能か？

主な発見

• メタモーフィックテストは、ChunkTagHandlerクラスで83%、IndoEuropeanTokenizerクラスで61%のミューテントを検出しており、強力な欠陥検出能力を示している。
• MR7（パラグラフの削除）とMR9（パラグラフのシャッフル）は、1つのミューテントを除いて同じセットのミューテントを殺しており、MR9に冗長性が生じる可能性を示唆している。
• MR10（ランダムな語のシャッフル）は、最も低いミューテント殺し率を示しており、他のMRと比較して効果が低い可能性を示唆しているが、他のMRでは検出されなかった1つのミューテントを独自に検出している。
• ソースとフォローアップテストケース間で異なる実行パスを誘発するMRは、コード変更に対してより感受性が高く、欠陥検出の潜在能力が優れていることが示された。
• LingPipeの主要クラスにユニットテストが存在しないことは、代替のテスト戦略の必要性を浮き彫りにしているが、MTがこれを効果的に解決している。
• 本研究は、バイオエンティティ認識に特化したMTを初めて適用した研究であり、バイオメディカルNLPにおけるオラクルテストの基盤を確立した。