[論文レビュー] Feature Intertwiner for Object Detection

Hongyang Li, Bo Dai+3 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Neural Network Applications参考文献 40被引用数 14

ひとこと要約

本稿では、高解像度（信頼性が高い）と低解像度（信頼性が低い）のオブジェクト特徴間での相互知識蒸留を可能にする、プラグアンドプレイ型の特徴相互接続モジュールを提案する。最適輸送を用いて特徴分布を整合化することで、小サイズオブジェクトでmAPが2.6%向上し、大サイズオブジェクトで0.8%向上し、マルチスケールテストを伴わない状態でも最先端の検出器を著しく上回る性能を発揮する。

ABSTRACT

A well-trained model should classify objects with a unanimous score for every category. This requires the high-level semantic features should be as much alike as possible among samples. To achive this, previous works focus on re-designing the loss or proposing new regularization constraints. In this paper, we provide a new perspective. For each category, it is assumed that there are two feature sets: one with reliable information and the other with less reliable source. We argue that the reliable set could guide the feature learning of the less reliable set during training - in spirit of student mimicking teacher behavior and thus pushing towards a more compact class centroid in the feature space. Such a scheme also benefits the reliable set since samples become closer within the same category - implying that it is easier for the classifier to identify. We refer to this mutual learning process as feature intertwiner and embed it into object detection. It is well-known that objects of low resolution are more difficult to detect due to the loss of detailed information during network forward pass (e.g., RoI operation). We thus regard objects of high resolution as the reliable set and objects of low resolution as the less reliable set. Specifically, an intertwiner is designed to minimize the distribution divergence between two sets. The choice of generating an effective feature representation for the reliable set is further investigated, where we introduce the optimal transport (OT) theory into the framework. Samples in the less reliable set are better aligned with aid of OT metric. Incorporated with such a plug-and-play intertwiner, we achieve an evident improvement over previous state-of-the-arts.

研究の動機と目的

• 高次元特徴空間におけるクラス内ばらつきを低減することで、深層オブジェクト検出器における特徴のcompactさを向上させること。
• ネットワーク推論中に特徴劣化を受ける、小規模で低解像度のオブジェクトを検出する課題に対処すること。
• 信頼性の高い（高解像度）と低い（低解像度）特徴セット間での相互特徴蒸留を可能にする、汎用的でプラグアンドプレイ型のモジュールを提案すること。
• 履歴バッファを用いてクラス固有の特徴代表を動的に維持することで、モデルの一般化性能を向上させること。
• 最適輸送を正則化指標として用いることで、特徴分布間の整合性を向上させること。

提案手法

• 本手法は、高解像度オブジェクト特徴を「教師」とし、低解像度特徴を「生徒」として、相互特徴蒸留を実現する特徴相互接続モジュールを導入する。
• クラス依存の履歴バッファが、訓練バッチ全体にわたって大規模オブジェクトの代表的特徴を保存・更新することで、一貫した監視を確保する。
• 信頼性のある特徴セットと信頼性が低い特徴セット間の分布差を測定・最小化するために、最適輸送（OT）を分散度測定指標として用いる。
• 相互接続モジュールは、軽量なジェネレータおよびクリティックネットワークにより実装され、OTに基づく損失関数が低次元空間における特徴整合を強制する。
• パラメータと計算コストの増加が最小限に抑えられるため、Faster R-CNNのような二段階検出器に容易に統合可能である。
• 勾配干渉を回避するため、分離可能なバッファ更新戦略を採用することで、安定性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 高解像度と低解像度のオブジェクト特徴間での相互知識蒸留は、特徴のcompactさと検出精度を向上させ得るか？
• RQ2 最適輸送は、解像度レベル間の特徴分布を整合化する際に、標準的な距離指標と比較してどのように優れているか？
• RQ3 大規模オブジェクトがミニバッチに存在しない場合、信頼性の高い特徴の動的履歴バッファを維持することで、訓練の安定性と性能が向上するか？
• RQ4 特徴相互接続モジュールは、本質的に困難な小サイズオブジェクトの検出性能をどの程度向上させるか？
• RQ5 本モジュールは、アーキテクチャの変更なしに、さまざまな検出アーキテクチャに汎用的に適用可能か？

主な発見

• 特徴相互接続モジュールは、小サイズオブジェクトでmAPを2.6ポイント、大サイズオブジェクトで0.8ポイント向上させ、困難なサンプルに対して顕著な向上を示した。
• COCOデータセットでは、マルチスケールテストを伴わない状態で、提案されたInterNetモデルが42.5%のmAPを達成し、Mask R-CNN（39.2%）とSSD（31.2%）を上回った。
• 分布整合化に最適輸送を用いることで、t-SNEによる可視化で特徴クラスタリングが向上し、クラス間の混同と外れ値が減少した。
• 履歴バッファに「全履歴」戦略とウィンドウサイズ1を適用した場合、mAPは40.1%から40.5%に向上し、訓練中のクラス不均衡処理の有効性が示された。
• 推論時間は5%（325ms vs 308ms）増加し、GPUあたりのメモリ使用量も1.3GB増加したが、性能向上に比して低コストであることが示された。
• ノイズの多いアノテーションに対してもモデルは頑健である：例えば「couch」のAP低下は、アノテーションのノイズによるものであり、相互接続モジュールの影響ではないため、現実のデータ不完全性に対しても安定であることが示唆された。