[論文レビュー] Analysis of Video Feature Learning in Two-Stream CNNs on the Example of Zebrafish Swim Bout Classification

Bennet Breier, Arno Onken|arXiv (Cornell University)|Dec 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 49被引用数 4

ひとこと要約

本研究は、ゼブラフィッシュの遊泳バウト分類における説明可能な動画特徴学習を実現するため、2ストリーム3次元畳み込みニューラルネットワーク（3D CNN）とDeep Taylor分解を組み合わせた手法を適用し、96.32%の精度を達成した。これは、先行研究のSVMベースの最先端手法よりも6.12%高い精度であり、尾の体幹の安定性が主要な判別特徴であることが特定された。一方で、アガロースの実験的アーティファクトに起因する「クレーブ・ハンス」的誤関連性も発見・是正された。

ABSTRACT

Semmelhack et al. (2014) have achieved high classification accuracy in distinguishing swim bouts of zebrafish using a Support Vector Machine (SVM). Convolutional Neural Networks (CNNs) have reached superior performance in various image recognition tasks over SVMs, but these powerful networks remain a black box. Reaching better transparency helps to build trust in their classifications and makes learned features interpretable to experts. Using a recently developed technique called Deep Taylor Decomposition, we generated heatmaps to highlight input regions of high relevance for predictions. We find that our CNN makes predictions by analyzing the steadiness of the tail's trunk, which markedly differs from the manually extracted features used by Semmelhack et al. (2014). We further uncovered that the network paid attention to experimental artifacts. Removing these artifacts ensured the validity of predictions. After correction, our best CNN beats the SVM by 6.12%, achieving a classification accuracy of 96.32%. Our work thus demonstrates the utility of AI explainability for CNNs.

研究の動機と目的

• 先行研究のSVMベースの最先端手法を超えるゼブラフィッシュの遊泳バウト検出における分類精度の向上を図ること。
• 深層学習モデルが動画ベースの行動解析において、解釈可能で生物学的に意味のある特徴を学習するかどうかを調査すること。
• モデルの耐性と解釈可能性を損なう要因となる、実験的アーティファクトに起因する誤関連性（例：アガロースのアーティファクト）を特定・是正すること。
• AIの説明可能性技術が神経科学および行動生物学の応用分野における有用性を示すこと。
• CNNがゼブラフィッシュの運動行動解析において、手作業で設計された特徴よりもより判別力の高い特徴を学習できることを検証すること。

提案手法

• 光学フロー入力を用いて、ゼブラフィッシュの動画シーケンスにおける運動ダイナミクスを捉える2ストリーム3次元CNNを訓練した。
• iNNvestigateツールボックスを介してDeep Taylor分解を適用し、予測に最も関連する入力領域を強調するセマンティクスマップ（類似度マップ）を生成した。
• ImageNetで事前学習済みの重みを用いて、空間的および時間的ストリームの初期化を実施した。
• 光学フローシーケンスのデータオーグメンテーションおよび正規化を実施し、学習の安定性を向上させた。
• 実験設定におけるアガロースアーティファクトに関連する誤関連性を特定した。
• アーティファクトの除去後、再訓練を実施し、修正済みデータ上の性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 2ストリームCNNは、ゼブラフィッシュの遊泳バウト分類にどのような特徴を学習するのか。また、手作業で設計された特徴と比べてどう異なるのか。
• RQ2 アガロースのような実験的アーティファクトが、動画ベースの行動分類においてどの程度の誤関連性を生じるのか。
• RQ3 Deep Taylor分解のようなAIの説明可能性技術は、学習された特徴に生物学的に意味のあるパターンを明らかにできるか。
• RQ4 誤関連性の除去は、ゼブラフィッシュ行動分類におけるモデルの一般化性能と性能向上に寄与するか。
• RQ5 深層学習モデルは、この分野において従来のSVMと手作業特徴を用いた手法を上回ることができるのか。もし可能であれば、その理由は何か。

主な発見

• CNNのテスト精度は96.32%に達し、Semmelhackら（2014）のSVMベースの手法よりも6.12パーセンテージポイント高い。
• モデルは主に尾の体幹の安定性に依存して遊泳バウトを分類しており、高い関連度が体幹の縁付近に集中している。
• ヒートマップの結果、ネットワークは捕食バウトを鋭く局所化された関連度プロファイルで検出する一方、自発的バウトは広がりがあり、振動的なパターンで検出していることが明らかになった。
• 「クレーブ・ハンス」的誤関連性が発覚した：上左隅に存在するアガロースアーティファクトが自発的バウトでは動いたが、捕食バウトでは動かず、これがモデルを誤導していた。
• アガロースアーティファクトの誤関連性を除去し、再訓練を実施した後、モデルの性能が向上し、安定性を保ったままであった。これにより、修正済み特徴の妥当性が裏付けられた。
• CNNはSemmelhackら（2014）が用いた特徴とは本質的に異なる特徴を学習しており、尾先の運動ダイナミクスに依存するのではなく、体幹の運動計画に重きを置いている。これは、既知の行動神経生物学的知見と整合的である。