[論文レビュー] Missingness Bias in Model Debugging

Saachi Jain, Hadi Salman+5 more|arXiv (Cornell University)|Apr 19, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿は、畳み込みニューラルネットワーク（CNNs）におけるヒューリスティックなピクセルマスキング（例：黒塗り）によって引き起こされる「欠損バイアス」——モデルのデバッグにおける歪み——を特定する。これは、解釈可能性ツール（例：LIME）の信頼性を損なう。本稿では、視覚変換器（ViTs）を提案し、画像トークンのドロップアウトにより自然に欠損を扱えるようにすることで、バイアスを低減し、再訓練を伴わずにより信頼性の高いデバッグを可能にする。

ABSTRACT

Missingness, or the absence of features from an input, is a concept fundamental to many model debugging tools. However, in computer vision, pixels cannot simply be removed from an image. One thus tends to resort to heuristics such as blacking out pixels, which may in turn introduce bias into the debugging process. We study such biases and, in particular, show how transformer-based architectures can enable a more natural implementation of missingness, which side-steps these issues and improves the reliability of model debugging in practice. Our code is available at https://github.com/madrylab/missingness

研究の動機と目的

• コンピュータビジョンにおけるヒューリスティックなピクセルマスキングが、モデルのデバッグプロセスにどのようなバイアスをもたらすかを調査すること。
• このような欠損の近似が、特にCNNsにおいてモデル行動を歪め、信頼性の低い解釈可能性結果をもたらすことを実証すること。
• 視覚変換器（ViTs）がトークンドロップアウトを通じて、ピクセルマスキングよりも自然でバイアスの少ない形で欠損をサポートできることを示すこと。
• 再訓練（ROARと同様）が、欠損に基づく手法を用いる際の正確なデバッグに必要かどうかを評価すること。
• ViTsが欠損に対して一貫した予測を維持する一方で、CNNsとは異なり、元のモデルを直接解析可能に保つこと。

提案手法

• 著者らは、ImageNetおよびCIFAR-10データセット上で、標準的なCNN（例：ResNet-50）と視覚変換器（ViT-S）の両方を用いて、欠損状態におけるモデル行動を比較する。
• CNNでは画像パッチを黒塗りすることで欠損を実装し、ViTでは対応するトークンをドロップアウトすることで同様の状況を模倣する。
• LIMEを用いてデバッグの信頼性を評価し、マスキング前後の予測のジャカード類似度を測定することで説明の一貫性を測定する。
• ROARと同様に、訓練中に欠損を組み込んだ再訓練を実施し、バイアス低減効果を評価する。再訓練済みモデルと元のモデルを比較する。
• 予測の一貫性、クラス分布のシフト、サリエンシーマップの品質を用いて、バイアスとモデル信頼性を定量化する。
• 複数のデータセット（ImageNet、CIFAR-10、MS-COCO）および異なるマスキング閾値やパッチサイズの条件下で、モデル行動を分析する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなピクセルマスキングの近似が、特にCNNsにおいて、モデルのデバッグにどのようなバイアスをもたらすか。
• RQ2 欠損バイアスが、LIMEのような特徴帰属付与手法の信頼性にどの程度影響を及えるか。
• RQ3 視覚変換器（ViTs）は、トークンドロップアウトにより自然に欠損をサポートでき、ピクセルマスキングよりもバイアスが少ないか。
• RQ4 ROARと同様に、訓練中に欠損を組み込む再訓練が、バイアスを完全に除去できるか。また、ViTsにおいてはこれが必要か。
• RQ5 CNNとは異なり、元のViTモデルを再訓練なしで安全にデバッグに使用できるか。

主な発見

• CNNにおけるピクセルマスキングは顕著な欠損バイアスを引き起こし、LIMEの説明が一貫せず、ランダムノイズと区別がつかないほど信頼性が低い。
• MS-COCO画像において人物をマスキングしても、ViT-Sは人物以外のオブジェクトクラスに対して予測の一貫性を保ち続けるが、ResNet-50は顕著な予測シフトを示す。
• CIFAR-10においては、パッチを除去するに従い、ViT-Sはマスキング後も高い割合の画像で予測を維持するが、ResNet-50は迅速に予測を変更する。
• CNNでは欠損バイアスを軽減するための再訓練が必要であるが、ViTsでは不要である——標準的および再訓練済みのViTモデルは、欠損状態においてほぼ同一の挙動を示す。
• ViTのトークンベースアーキテクチャは、より自然でバイアスの少ない形での欠損を可能にし、サロゲート再訓練を伴わず、元のモデルの直接解析を可能にする。
• 欠損バイアスは、モデルが残存する画像特徴を適切に活用できなくし、特にCNNでは出力分布が関連のないクラスに歪められる。