[論文レビュー] TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks

Yu Li, Min Li+3 more|arXiv (Cornell University)|May 21, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用数 13

ひとこと要約

TestRank は、深層学習モデルのための画期的なテスト優先順位付けフレームワークであり、ターゲットモデルの出力から得られる内在的特徴と、ラベル付きおよびラベルなしデータの類似性グラフに基づくGNN（グラフニューラルネットワーク）による文脈的特徴を組み合わせることで、ラベルなしテストインスタンスを優先順位付けする。これは、デバッグの効率を著しく向上させ、ベースラインと比較して平均 ATPF の向上幅が +0.95% を達成し、バグを露呈する高インパクトのテストケースを優先することでラベル付けコストを削減する。

ABSTRACT

Deep learning (DL) has achieved unprecedented success in a variety of tasks. However, DL systems are notoriously difficult to test and debug due to the lack of explainability of DL models and the huge test input space to cover. Generally speaking, it is relatively easy to collect a massive amount of test data, but the labeling cost can be quite high. Consequently, it is essential to conduct test selection and label only those selected "high quality" bug-revealing test inputs for test cost reduction. In this paper, we propose a novel test prioritization technique that brings order into the unlabeled test instances according to their bug-revealing capabilities, namely TestRank. Different from existing solutions, TestRank leverages both intrinsic attributes and contextual attributes of test instances when prioritizing them. To be specific, we first build a similarity graph on test instances and training samples, and we conduct graph-based semi-supervised learning to extract contextual features. Then, for a particular test instance, the contextual features extracted from the graph neural network (GNN) and the intrinsic features obtained with the DL model itself are combined to predict its bug-revealing probability. Finally, TestRank prioritizes unlabeled test instances in descending order of the above probability value. We evaluate the performance of TestRank on a variety of image classification datasets. Experimental results show that the debugging efficiency of our method significantly outperforms existing test prioritization techniques.

研究の動機と目的

• 深層学習システムにおける膨大なラベルなしテストデータのラベル付けコストの高さに対処すること。
• ラベル付きおよびラベルなしデータからの文脈的情報と、モデルの内在的挙動を活用してテスト優先順位付けを改善すること。
• 手動でのラベル付けを行う前に、高インパクトでバグを露呈するテストインスタンスを特定することで、デバッグ作業の負荷を軽減すること。
• グラフベースの半教師あり学習が、深層学習におけるテストケース優先順位付けの向上にどの程度有効であるかを調査すること。
• 大規模なテストデータ環境における計算効率と性能のトレードオフを評価すること。

提案手法

• k-近傍法（k-NN）を用いて、ラベルなしテストインスタンスと過去のラベル付きサンプル（トレーニングデータおよびオラクル）を接続する類似性グラフを構築する。
• 類似性グラフにグラフニューラルネットワーク（GNN）を適用し、局所的なデータ分布およびモデル挙動のパターンを反映する文脈的特徴を抽出する。
• 各テストインスタンスについて、GNNから得られる文脈的特徴と、ターゲットの深層学習モデルからの内在的特徴（例：ソフトマックス確率、不確実性スコア）を統合する。
• 統合された特徴に基づいて、各ラベルなしテストインスタンスのバグ露呈確率を予測するためのニューラルネットワーク分類器を訓練する。
• 予測されたバグ露呈確率の高い順に、ラベルなしテストインスタンスを優先順位付けして効率的なラベル付けを実現する。
• 計算コストを低減するために、k-NNグラフ構築に近似手法を適用し、性能の低下を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きおよびラベルなしデータからの文脈的特徴と、モデルの内在的出力を組み合わせることで、深層学習におけるテスト優先順位付けが向上するか？
• RQ2 GNNに基づく文脈的特徴抽出は、高インパクトでバグを露呈するテストケースを特定するのにどの程度有効か？
• RQ3 ターゲットモデルの内部層を用いることと、別個の非教師あり特徴抽出器を用いることのテスト優先順位付け性能への影響は何か？
• RQ4 k-NNグラフの近似処理は、大規模なテストデータにおける優先順位付けの効率性と正確性にどのような影響を与えるか？
• RQ5 類似性グラフを構築する際の最適なk（近傍数）の範囲は何か？文脈の豊かさとノイズのバランスを考慮して。

主な発見

• TestRank は、複数のデータセットにおいて、既存のベースラインと比較して平均 ATPF（Average Test Prioritization F1）が +0.95% 向上し、優れたデバッグ効率を示している。
• 非教師あり特徴抽出器をターゲットモデルの内部層に置き換えると、平均 ATPF が 6.23% 減少する。これは、最適なパフォーマンスを達成するには別個の非教師あり特徴抽出器が不可欠であることを証明している。
• k-NNグラフ近似手法を用いることで計算コストを削減でき、平均で 0.95% の性能低下に抑えられ、大規模なテストデータに適していることが確認された。
• k の値が 20～800 の広い範囲で安定した性能を示し、k が小さすぎず、大きすぎない場合に最適な性能が得られる。これはハイパーパramータのチューニングに柔軟性があることを示している。
• STL10 データセットでは、k > 20 の場合、TestRank は最良のベースラインを ATPF で 69.70% 超えており、異なるモデルアーキテクチャーやデータ分布に対しても一貫した有効性を示している。
• 画像分類ベンチマーク（SVHN、CIFAR-10、CIFAR-100、STL10）を対象に検証された結果、バグを露呈する可能性の高いテストインスタンスを優先することで、ラベル付けコストを顕著に削減している。