[論文レビュー] AGRI-Fidelity: Evaluating the Reliability of Listenable Explanations for Poultry Disease Detection

Sindhuja Madabushi, Arda Dogan+6 more|arXiv (Cornell University)|Mar 18, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

AGRI-Fidelity は、クロスモデルの合意と置換ベースのFDRを組み合わせ、家禽疾病検知の聴ける説明を評価する信頼性指向のフレームワーク。真の生物音響信号と定常的アーティファクトを区別する。

ABSTRACT

Existing XAI metrics measure faithfulness for a single model, ignoring model multiplicity where near-optimal classifiers rely on different or spurious acoustic cues. In noisy farm environments, stationary artifacts such as ventilation noise can produce explanations that are faithful yet unreliable, as masking-based metrics fail to penalize redundant shortcuts. We propose AGRI-Fidelity, a reliability-oriented evaluation framework for listenable explanations in poultry disease detection without spatial ground truth. The method combines cross-model consensus with cyclic temporal permutation to construct null distributions and compute a False Discovery Rate (FDR), suppressing stationary artifacts while preserving time-localized bioacoustic markers. Across real and controlled datasets, AGRI-Fidelity effectively provides reliability-aware discrimination for all data points versus masking-based metrics.

研究の動機と目的

• 実世界の家禽音声において、タスクに関連する説明をアーティファクト駆動型のものと区別する。
• 単一モデルの忠実度を超えるモデルの多様性における説明の信頼性を定量化する。
• 定常的アーティファクトを抑制しつつ時相局所の生物音響マーカーを保持する、統計的に検証可能なフレームワークを開発する。
• クロスモデルの合意と忠実度を統合して、統一された信頼性スコアを得る。
• アーティファクトの抑制と希薄信号の保持に対する理論的保証を提供する。

提案手法

• ほぼ最適と見なせるモデルの委員会を構築し、各モデルに対して上位k個の時間-周波数アトリビューションを生成する。
• 委員会全体の観測されたクロスモデル合意を計算し、合意レベル（階層的合意）で層別化する。
• 循環的時間的置換を用いて偽の合意を作成し、経験的な無効分布を形成する。
• 各合意階層について経験的FDRを推定し、合意の統計的正当性を定量化する。
• 忠実度（予測への因果的影響）とFDRを組み合わせて、共同の信頼性スコアを導出する。
• 理論的保証を提供する：循環シフトの無効性に従い、定常的アーティファクトはFDR→1、希薄信号はFDR→0となる。

実験結果

リサーチクエスチョン

• RQ1 クロスモデル合意は、近似最適な家禽疾病分類器に対して因果的に関連し統計的にも信頼できる説明領域を識別できるか。
• RQ2 循環時間的置換は、説明における定常的アーティファクトを抑制しつつ時相局所の生物音響マーカーを保持できるか。
• RQ3 忠実度とFDRを統合することは、マスキングベースの指標よりも信頼できる聴ける説明の評価を提供するか。
• RQ4 説明はアーキテクチャ的に多様なモデル（委員会）と初期化を越えて安定しているか。
• RQ5 実世界および制御された家禽データセットにおける説明手法は、信頼性と忠実度の観点でどのように異なるか。

主な発見

Baseline	AI ↑	AD ↓	AG ↑	Sparse ↑	Comp. ↓	Faithfulness ↑	AGRI-Fidelity Fidelity	AGRI-Fidelity Reliability
LMAC-TD	34.0500 ± 3.1955	5.3698 ± 1.6220	21.3799 ± 0.8626	0.0140 ± 0.0033	12.2920 ± 0.0001	0.0739 ± 0.0243	0.9128 ± 0.0273	0.4285 ± 0.3958
L2I	30.1667 ± 3.9847	7.7010 ± 1.2752	20.3380 ± 2.9614	0.0661 ± 0.0086	12.2993 ± 0.0019	0.1471 ± 0.0300	0.5600 ± 0.0343	0.3503 ± 0.3832
CoughLIME	49.8724 ± 40.7621	44.5938 ± 43.4127	61.0600 ± 47.8459	0.3315 ± 0.2987	13.3498 ± 0.0031	0.1214 ± 0.1047	0.1501 ± 0.0601	0.6715 ± 0.3289
AudioLIME	27.6923 ± 3.7621	3.2820 ± 3.4127	2.6643 ± 2.8459	0.4011 ± 0.0187	0.2091 ± 0.0031	0.3619 ± 0.0368	0.9157 ± 0.0214	0.3987 ± 0.3849

• AGRI-Fidelity は、実際の生物音響信号をアーティファクトから確実に識別し、標準的なマスキング指標よりも優れている。
• 高忠実度と低FDR（因果的影響を伴う強いクロスモデル合意）は、信頼できる説明を特徴づける。
• 循環シフト無効化の下で定常的アーティファクトは漸近的に抑制され、これらの領域の信頼性は0に近づく（FDR→1）。
• 希薄で時刻に結びつく生物学的マーカーは高い信頼性を維持し、従って全体の信頼性も高くなる（FDR→0）。
• 説明手法は因果的影響（忠実度）と信頼性（モデル間の安定性）で乖離することがある。
• このフレームワークは、ノイズの多い生物音響設定において explainer に依存しない、統計的に principled な信頼性評価を提供する。