[論文レビュー] iffDetector: Inference-aware Feature Filtering for Object Detection

Mingyuan Mao, Yuxin Tian+5 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Neural Network Applications参考文献 31被引用数 5

ひとこと要約

本論文は、推論時に高レベルの意味情報を用いたフーリエ解析による閉ループフィードバックを用いる、Inference-aware Feature Filtering (IFF) モジュールを備えた、プラグアンドプレイ型のオブジェクト検出フレームワーク iffDetector を提案する。IFF は特徴マップのノイズを低減させることで、最小限の計算コストで精度を向上させ、PASCAL VOC および COCO で最先端の性能を達成し、最大 0.9% の AP 向上を実現する。

ABSTRACT

Modern CNN-based object detectors focus on feature configuration during training but often ignore feature optimization during inference. In this paper, we propose a new feature optimization approach to enhance features and suppress background noise in both the training and inference stages. We introduce a generic Inference-aware Feature Filtering (IFF) module that can easily be combined with modern detectors, resulting in our iffDetector. Unlike conventional open-loop feature calculation approaches without feedback, the IFF module performs closed-loop optimization by leveraging high-level semantics to enhance the convolutional features. By applying Fourier transform analysis, we demonstrate that the IFF module acts as a negative feedback that theoretically guarantees the stability of feature learning. IFF can be fused with CNN-based object detectors in a plug-and-play manner with negligible computational cost overhead. Experiments on the PASCAL VOC and MS COCO datasets demonstrate that our iffDetector consistently outperforms state-of-the-art methods by significant margins\footnote{The test code and model are anonymously available in https://github.com/anonymous2020new/iffDetector }.

研究の動機と目的

• CNNベースのオブジェクト検出器における推論時特徴最適化のギャップを解消すること。
• バックボーン抽出後の特徴マップにおけるノイズの多い領域や誤って活性化された領域を精緻化することで、特徴表現を向上させること。
• 高レベルの意味情報を活用して推論中に特徴の精緻化を誘導するフィードバック機構を導入すること。
• 負のフィードバック解析を通じて、特徴最適化プロセスの理論的安定性を保証すること。
• アンカーに基づくおよびアンカー非依存の両方の検出器を大幅に向上させるが、計算コストをほとんど増加させない、プラグアンドプレイ型モジュールを開発すること。

提案手法

• IFF モジュールは、高レベルの意味的予測を用いて低レベルの畳み込み特徴を精緻化する閉ループ特徴最適化を実行する。
• 物体に対応する活性化領域を強化し、背景ノイズを抑制する学習可能なフィルタリング機構を適用する。
• モジュールは特徴抽出後に推論パイプラインに統合され、検出ヘッドから特徴マップへのフィードバックを可能にする。
• フーリエ解析により、IFF が負のフィードバックシステムとして機能し、特徴学習における理論的安定性を保証することが示された。
• IFF モジュールは、パラメータと計算量のオーバーヘッドを最小限に抑えるために、軽量な 1×1 または 3×3 畳み込みで実装されている。
• フレームワークは FoveaBox や FreeAnchor、CenterNet などのさまざまな検出器と互換性があり、プラグインモジュールとして適用可能である。

実験結果

リサーチクエスチョン

• RQ1 推論時の特徴最適化は、標準的な学習時特徴工学の範囲を超えてオブジェクト検出性能を向上させることができるか？
• RQ2 推論中に高レベルの意味的情報を、安定的かつ効果的に低レベル特徴を精緻化するためにどのように活用できるか？
• RQ3 オブジェクト検出における特徴学習プロセスにフィードバックを導入した場合、理論的影響は何か？
• RQ4 軽量でプラグアンドプレイ可能なモジュールは、推論時間を増加させることなく、アンカーに基づくおよびアンカー非依存の両方の検出器を顕著に向上させることができるか？
• RQ5 提案された IFF モジュールは特徴学習を安定化させるか？また、その理論的証明は可能か？

主な発見

• ResNeXt-101 を用いた場合、iffDetector は FreeAnchor よりも AP を 0.6%、AP_L を 0.9% 向上させ、COCO 2017 で最先端の性能を達成した。
• PASCAL VOC では、ResNet-50 を用いて 39.6 AP を達成し、FreeAnchor（38.7 AP）および RetinaNet（35.7 AP）を上回った。
• IFF モジュールはパラメータ数を 2% 未満に増加させながら、学習および推論時間はほぼ同一を維持した。
• ResNeXt-101 を用いた場合、iffDetector は 47.9 AP を達成し、FreeAnchor の 47.3 AP よりも 0.6% の相対的向上を示した。
• IFF モジュールは、FoveaBox、FreeAnchor、CenterNet を含む複数のバックボーンおよび検出器アーキテクチャにおいて一貫して性能向上を示した。
• フーリエ解析により、IFF が負のフィードバックシステムとして機能し、特徴学習における理論的安定性を保証することが確認された。