[論文レビュー] Interpretable R-CNN

Tianfu Wu, Xilai Li+4 more|arXiv (Cornell University)|Nov 14, 2017

Advanced Neural Network Applications参考文献 69被引用数 18

ひとこと要約

この論文は、階層的AND-ORグラフ（AOG）文法を用いて解釈可能な部分構成を学習することで、部分ラベルなしの弱教師付きで抽出型の根拠を生成できるようにする、Interpretable R-CNNを提案する。RoIPoolingの代わりにAOGParsing演算子を導入し、PASCAL VOC 2007および2012で最先端の検出性能を達成するとともに、人間が解釈可能な構文木を根拠として提供する。

ABSTRACT

This paper presents a method of learning qualitatively interpretable models in object detection using popular two-stage region-based ConvNet detection systems (i.e., R-CNN). R-CNN consists of a region proposal network and a RoI (Region-of-Interest) prediction network.By interpretable models, we focus on weakly-supervised extractive rationale generation, that is learning to unfold latent discriminative part configurations of object instances automatically and simultaneously in detection without using any supervision for part configurations. We utilize a top-down hierarchical and compositional grammar model embedded in a directed acyclic AND-OR Graph (AOG) to explore and unfold the space of latent part configurations of RoIs. We propose an AOGParsing operator to substitute the RoIPooling operator widely used in R-CNN, so the proposed method is applicable to many state-of-the-art ConvNet based detection systems. The AOGParsing operator aims to harness both the explainable rigor of top-down hierarchical and compositional grammar models and the discriminative power of bottom-up deep neural networks through end-to-end training. In detection, a bounding box is interpreted by the best parse tree derived from the AOG on-the-fly, which is treated as the extractive rationale generated for interpreting detection. In learning, we propose a folding-unfolding method to train the AOG and ConvNet end-to-end. In experiments, we build on top of the R-FCN and test the proposed method on the PASCAL VOC 2007 and 2012 datasets with performance comparable to state-of-the-art methods.

研究の動機と目的

• 部分ラベルなしの弱教師付きで解釈可能な抽出型根拠を学習する手法の開発。
• 2段階のR-CNNモデルにトップダウンで階層的なAND-ORグラフ（AOG）文法を統合し、隠れた部分構成をモデル化すること。
• 検出精度と解釈可能性を両立するエンドツーエンドで学習可能なAOGParsing演算子にRoIPoolingを置き換えること。
• AOGからの最良の構文木を用いて、バウンディングボックスの即時の解釈を可能にすること。
• AOGとConvNetをエンドツーエンド最適化できる折りたたみ・展開フレームワークを用いて同時に学習すること。

提案手法

• RoIPoolingの代わりにAOGParsing演算子を導入し、有向無閉路グラフ（AOG）を用いて階層的かつ構成的解析を可能にする。
• AOGはトップダウンの階層的文法を用いて部分を組み合わせてオブジェクトを構成し、RoIの構造的解釈を可能にする。
• AOG構造とConvNetパラメータをエンドツーエンドで同時に最適化するための折りたたみ・展開トレーニング戦略を提案する。
• AOGは各RoIに対して最も確率の高い構文木を予測し、これが検出意思決定の抽出型根拠として機能する。
• R-FCNに統合され、PASCAL VOC 2007および2012で評価され、競争力ある検出精度を維持している。

実験結果

リサーチクエスチョン

• RQ1 部分ラベルなしの弱教師付き手法は、オブジェクト検出における解釈可能な部分構成を学習できるか？
• RQ2 階層的文法モデルをディープラーニングベースの検出フレームワークに統合することで、解釈性を向上させられるか？
• RQ3 AOGParsing演算子はRoIPoolingを置き換えられ、検出性能を維持または向上できるか？
• RQ4 AOGから得られる最良の構文木は、オブジェクト検出の根拠として人間が解釈可能なものとして十分に機能するか？
• RQ5 折りたたみ・展開トレーニング法は、AOGと検出ネットワークの共同最適化にどの程度効果的か？

主な発見

• 提案されたInterpretable R-CNNは、PASCAL VOC 2007および2012データセットで最先端の検出性能を達成した。
• AOGからの最良の構文木を用いて抽出型根拠を生成し、オブジェクト検出結果の部分ベースの解釈可能な説明を提供した。
• AOGParsing演算子はRoIPoolingを効果的に置き換え、ConvNetとエンドツーエンドで学習可能でありながら、検出精度を維持した。
• 折りたたみ・展開トレーニング戦略は、AOG構造と検出ネットワークの共同最適化を効果的に実現した。
• 2段階のR-CNNフレームワークにおいて、部分構成の弱教師付き学習が可能で効果的であることを示した。