[論文レビュー] Explainable Event Recognition

Imran Khan, Kashif Ahmad+4 more|arXiv (Cornell University)|Oct 2, 2021

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、画像ベースのイベント認識におけるモデル意思決定を解釈可能にするために、Grad-CAMとXceptionベースのCNNを用いた説明可能なイベント認識フレームワークを提案する。予測の78–84%がイベントに特徴的なオブジェクト／領域に依存していることが示され、自然災害、社会的イベント、スポーツイベントの各データセットでF1スコアがそれぞれ0.91、0.94、0.97に達し、モデルの解釈可能性と一般化能力が裏付けられた。

ABSTRACT

The literature shows outstanding capabilities for CNNs in event recognition in images. However, fewer attempts are made to analyze the potential causes behind the decisions of the models and exploring whether the predictions are based on event-salient objects or regions? To explore this important aspect of event recognition, in this work, we propose an explainable event recognition framework relying on Grad-CAM and an Xception architecture-based CNN model. Experiments are conducted on three large-scale datasets covering a diversified set of natural disasters, social, and sports events. Overall, the model showed outstanding generalization capabilities obtaining overall F1-scores of 0.91, 0.94, and 0.97 on natural disasters, social, and sports events, respectively. Moreover, for subjective analysis of activation maps generated through Grad-CAM for the predicted samples of the model, a crowdsourcing study is conducted to analyze whether the model's predictions are based on event-related objects/regions or not? The results of the study indicate that 78%, 84%, and 78% of the model decisions on natural disasters, sports, and social events datasets, respectively, are based onevent-related objects or regions.

研究の動機と目的

• 深層学習ベースのイベント認識モデルにおける解釈可能性の欠如、特に予測がイベントに特徴的なオブジェクトや領域に依存しているかどうかを解消すること。
• 活性マップの分析を通じて、モデルの意思決定が意味的に関連する視覚的コンテンツに基づいているかどうかを評価すること。
• 自然災害、社会的イベント、スポーツイベントを含む多様なイベントカテゴリにわたる説明可能なイベント認識のベースラインを確立すること。
• クラウドソーシング研究を実施し、モデルの予測がイベント関連の視覚的手がかりに基づいているかどうかを検証すること。

提案手法

• 特徴抽出およびイベント分類のため、ImageNetで事前学習されたXceptionアーキテクチャをフレームワークで採用する。
• 最終畳み込み層からのクラス活性マップを生成するためにGrad-CAMを適用し、予測に最も寄与する領域を強調表示する。
• 活性マップを可視化・分析し、特徴的な領域がイベントに関連するオブジェクトやシーンと一致するかどうかを評価する。
• 3名のアノテーターによる過半数投票を用いて、各予測がイベントに特徴的な領域に基づいているかどうかをラベル付けするクラウドソーシング研究を実施する。
• 自然災害、社会的イベント、スポーツイベントの3つの大規模データセットを用いてモデルを評価し、多様な視覚的・意味的複雑性をカバーする。
• 予測性能と解釈可能性の両方を評価するため、F1スコアと主観的分析精度を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 どの画像領域がモデルの予測に最も寄与しているのか。また、それらはイベントに特徴的なオブジェクトや領域と一致しているか。
• RQ2 モデルの予測はイベント関連の視覚的コンテンツに依存しているのか、それとも関係のない画像部品に影響を受けているのか。
• RQ3 モデルの意思決定は人間観察者にとって解釈可能で意味的に明確なものになっているか。
• RQ4 自然災害、社会的イベント、スポーツイベントのような多様なイベントカテゴリに、モデルはどれほど一般化できるか。

主な発見

• 自然災害、社会的イベント、スポーツイベントの各データセットで、F1スコアがそれぞれ0.91、0.94、0.97に達し、強力な一般化能力を示した。
• 主観的分析の結果、自然災害では78%、社会的イベントでは84%、スポーツイベントでは78%の予測がイベントに特徴的なオブジェクトや領域に基づいていた。
• スポーツイベントにおける最高の個別クラス正答率はホッケーで0.98、最低はF1レースで0.53であり、クラスごとの課題が顕在化した。
• 誤分類の多くは、誤解を招くクラスと視覚的に類似していること、または明確なイベントに特徴的なオブジェクトが欠落していることに起因していた。
• 強力な性能を示したが、現在の正答率（78–84%）と理想の100%との差は、イベントに特徴的な領域のモデリングの改善余地があることを示唆している。
• 活性マップの結果、モデルは主にイベントに関連する領域に注目していることが確認され、この文脈におけるGrad-CAMの解釈可能性が裏付けられた。