[論文レビュー] TestAug: A Framework for Augmenting Capability-based NLP Tests

Guanqun Yang, Mirazul Haque+3 more|arXiv (Cornell University)|Oct 14, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

TestAug は、GPT-3 を活用して多様で妥当な能力ベースの NLP テストケースを自動生成するフレームワークであり、人的作業を大幅に削減するとともに、バグ検出力とテストセットの多様性を向上させる。GPT-3 を用いて初期のテストケースを生成し、テンプレートの拡張と分類器による不正な出力をフィルタリングすることで、人的アノテーション作業を少なくとも 98% 減少させ、既存の手法を上回るモデル障害の検出性能を達成している。

ABSTRACT

The recently proposed capability-based NLP testing allows model developers to test the functional capabilities of NLP models, revealing functional failures that cannot be detected by the traditional heldout mechanism. However, existing work on capability-based testing requires extensive manual efforts and domain expertise in creating the test cases. In this paper, we investigate a low-cost approach for the test case generation by leveraging the GPT-3 engine. We further propose to use a classifier to remove the invalid outputs from GPT-3 and expand the outputs into templates to generate more test cases. Our experiments show that TestAug has three advantages over the existing work on behavioral testing: (1) TestAug can find more bugs than existing work; (2) The test cases in TestAug are more diverse; and (3) TestAug largely saves the manual efforts in creating the test suites. The code and data for TestAug can be found at our project website (https://guanqun-yang.github.io/testaug/) and GitHub (https://github.com/guanqun-yang/testaug).

研究の動機と目的

• 既存の能力ベースの NLP テストセット作成手法における人的コストの高さとテストセットの多様性の低さを是正すること。
• 大規模言語モデルを用いてテストケース生成を自動化することで、専門家がアノテートしたテンプレートへの依存を減らすこと。
• より多様で妥当なテストケースを生成することで、行動テストの有効性を高め、より多くのモデル障害を特定すること。
• 不正な GPT-3 出力を自動でフィルタリングすることで、テストケースの正しさを維持するスケーラブルなパイプラインの開発

提案手法

• 開発者によってアノテートされたシードテストケースを入力として GPT-3 に提示し、初期のテストケースを生成する。
• GPT-3 が生成したテストケースを再利用可能なテンプレートに展開することで、テストセットのカバレッジと多様性を向上させる。
• GPT-3 が生成する不正または不適切なテストケースを除外するための妥当性分類器を訓練する。
• 2段階のフィルタリングパイプラインを適用する：まず分類器で妥当性を評価し、次に人的アノテーションによる検証で信頼性を確保する。
• 得られたテストセットを用いて、否定、含意、パラフレーズ検出などの複数の言語的能力をカバーする NLP モデルの評価に使用する。
• 追加の GPT-3 クエリを用いて繰り返しテストセットを拡張可能な再利用可能なパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3 を用いて、人的入力の最小限の制限で能力ベースの NLP テストケースを効果的に自動生成できるか？
• RQ2 GPT-3 が生成する不正なテストケースをフィルタリングする分類器ベースのメカニズムの有効性はどの程度か？
• RQ3 TestAug は、従来の人的テンプレートベースの手法と比較して、どの程度テストセットの多様性が向上するか？
• RQ4 TestAug は CheckList よりも多くのモデルバグを検出できるか？
• RQ5 TestAug を用いることで、従来のテストセット作成手法と比較して、人的アノテーション作業はどの程度削減できるか？

主な発見

• TestAug の妥当性分類器は、感情分析とパラフレーズ検出では少なくとも 90% の成功率を達成し、自然言語含意では 80% の成功率を示した。
• フレームワークにより人的アノテーション作業が少なくとも 98.0% 減少した。これは、新規テンプレート数と人的に作成されたテンプレート数の比で測定された。
• TestAug が生成したテストセットは、CheckList のものと比較して 11.2 から 50.4 倍の大きさであり、少なくとも 49.7 倍のテンプレートが多い。
• 生成されたテストケースは、既存の手法よりも多くのバグを検出でき、モデル障害に対する感受性が優れていることが示された。
• 人的アノテーションによるテストケースの妥当性評価において、Cohen の kappa スコアはタスクごとに 0.741 から 0.812 の間で高く、中程度以上の一致度を示した。
• フレームワークは、出力品質を維持しながら、テストケースの多様性とバグ検出能力において CheckList を著しく上回った。