[論文レビュー] Towards Interpretable R-CNN by Unfolding Latent Structures

Tianfu Wu, Wei Sun+3 more|arXiv (Cornell University)|Nov 14, 2017

Multimodal Machine Learning Applications参考文献 41被引用数 12

ひとこと要約

本稿では、R-FCNと階層的AND-ORグラフ（AOG）を統合することで、部分ラベルの教師なしで、物体の潜在的部分構成を自動的に発見・正当化できる解釈可能なオブジェクト検出フレームワークを提案する。RoIPoolingの代わりに、即時の最適パースツリー推論を可能にするAOGパースング演算子を導入し、質的で抽出的な根拠を生成しながら、PASCAL VOC 2007および2012で最先端の検出精度を維持する。

ABSTRACT

This paper first proposes a method of formulating model interpretability in visual understanding tasks based on the idea of unfolding latent structures. It then presents a case study in object detection using popular two-stage region-based convolutional network (i.e., R-CNN) detection systems. We focus on weakly-supervised extractive rationale generation, that is learning to unfold latent discriminative part configurations of object instances automatically and simultaneously in detection without using any supervision for part configurations. We utilize a top-down hierarchical and compositional grammar model embedded in a directed acyclic AND-OR Graph (AOG) to explore and unfold the space of latent part configurations of regions of interest (RoIs). We propose an AOGParsing operator to substitute the RoIPooling operator widely used in R-CNN. In detection, a bounding box is interpreted by the best parse tree derived from the AOG on-the-fly, which is treated as the qualitatively extractive rationale generated for interpreting detection. We propose a folding-unfolding method to train the AOG and convolutional networks end-to-end. In experiments, we build on R-FCN and test our method on the PASCAL VOC 2007 and 2012 datasets. We show that the method can unfold promising latent structures without hurting the performance.

研究の動機と目的

• 自動運転や監視など、重要な視覚応用分野で用いられるディープラーニングモデルにおける解釈性の欠如に対処する。
• 部分ラベルのアノテーションを一切必要とせず、物体の判別に有用な部分構成を自動で発見する手法を開発する。
• 上位から下位への構成的文法モデル（AOG）を、下位から上位へのConvNetsとエンドツーエンドに統合し、モデルの透明性を向上させる。
• 推論時にAOGから解釈可能なパースツリーを導出し、弱教師付きの抽出的根拠生成を可能にする。
• 解釈性の機能を追加しても、最先端のR-CNNモデルと同等の検出性能を維持する。

提案手法

• 領域提案（RoI）の潜在的部分構成を表現するため、有向無閉路AND-ORグラフ（AOG）を用いた上位から下位への階層的で構成的な文法モデルを提案する。
• R-FCNの標準的なRoIPoolingレイヤーの代わりに、各RoIに対して最適なパースツリーを即時に推論できるAOGパースング演算子を設計する。
• 端末ノードに敏感なマップを用いて特徴応答を計算し、ANDノードとORノードがSUM、MEAN、または要素ごとのMAXなどの単純な演算を適用する。
• AOG構造と畳み込み特徴量をエンドツーエンドで同時に最適化するため、折りたたみ・展開トレーニング手順を導入する。
• 異なるグリッドサイズ（例：3×3、5×5、7×7）と構成を用いて、さまざまな構造的複雑さのAOGを構築し、検討する。
• 可変形状AOGのための適応を図り、端末ノードが可変形状RoIPoolingと同様に空間的位置を調整できるようにする。

実験結果

リサーチクエスチョン

• RQ1 上位から下位への文法モデルを、下位から上位へのConvNetsと効果的に統合することで、解釈可能なオブジェクト検出が可能になるか？
• RQ2 2段階検出フレームワークにおいて、部分ラベルの教師なしで、潜在的部分構成を発見・正当化できるか？
• RQ3 RoIPoolingをAOGパースング演算子に置き換えることで、検出精度を保持しつつ、抽出的根拠生成が可能になるか？
• RQ4 AOGベースの手法は、RFCN-dのような最先端のR-CNNモデルと比較して、標準ベンチマークでどの程度の性能を示すか？
• RQ5 折りたたみ・展開手順を用いて、畳み込みネットワークとエンドツーエンドでAOG構造を学習可能か？

主な発見

• 提案手法は、PASCAL VOC 2007および2012の両データセットで、最先端のRFCN-dモデルと同等の検出性能を達成した。
• AOGのあらゆるバージョン（AOG331、AOG551、AOG772）が、ベースラインのR-FCNと同等の検出精度を維持しており、AOG統合による性能劣化がないことが確認された。
• AOGパースング演算子は、各検出オブジェクトに対して最適なパースツリーを効果的に推論し、潜在的部分構成を可視化する質的で抽出的な根拠を提供した。
• 実行時間はAOGサイズに依存する：AOG331は1画像あたり約0.25秒、AOG551は約1.3秒、AOG772は約0.78秒であり、RFCN-dの約0.36秒と比較して、妥当な推論コストであることが示された。
• 弱教師付きの抽出的根拠生成の実現可能性が示された。AOGから得られる最良のパースツリーが、検出意思決定の根拠として機能した。
• アブレーションスタディにより、AOGベースのアプローチがRoIPoolingの有効な一般化であることが確認された。RoIPoolingは、固定で平坦な構成を持つAOGパースングの特殊ケースである。