[論文レビュー] Learning Detection with Diverse Proposals

Samaneh Azadi, Jiashi Feng+1 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Neural Network Applications参考文献 5被引用数 6

ひとこと要約

本稿では、領域提案同士の多様性を促進することで、オブジェクト検出を向上させる微分可能なデターミナント・ポイント・プロセス（DPP）層である、多様な提案を用いた学習（LDDP）を提案する。LDDPは、提案同士の意味的および空間的関係をモデル化することで、モデルパラメータを増加させることなく、局所化および分類の正確性を向上させ、Faster R-CNNが使用する提案の約30％のみを用いても最先端の性能を達成する。

ABSTRACT

To predict a set of diverse and informative proposals with enriched representations, this paper introduces a differentiable Determinantal Point Process (DPP) layer that is able to augment the object detection architectures. Most modern object detection architectures, such as Faster R-CNN, learn to localize objects by minimizing deviations from the ground-truth but ignore correlation between multiple proposals and object categories. Non-Maximum Suppression (NMS) as a widely used proposal pruning scheme ignores label- and instance-level relations between object candidates resulting in multi-labeled detections. In the multi-class case, NMS selects boxes with the largest prediction scores ignoring the semantic relation between categories of potential election. In contrast, our trainable DPP layer, allowing for Learning Detection with Diverse Proposals (LDDP), considers both label-level contextual information and spatial layout relationships between proposals without increasing the number of parameters of the network, and thus improves location and category specifications of final detected bounding boxes substantially during both training and inference schemes. Furthermore, we show that LDDP keeps it superiority over Faster R-CNN even if the number of proposals generated by LDPP is only ~30% as many as those for Faster R-CNN.

研究の動機と目的

• Faster R-CNNのような現代のオブジェクト検出器が、提案同士の相関を無視し、重複除去（NMS）に依存するという制限に対処すること。
• ラベルレベルおよび空間的配置の関係を捉える微分可能なDPP層を用いて、提案間の多様性を明示的にモデル化することで、オブジェクト検出を向上させること。
• 品質スコア、カテゴリ類似度、空間的オーバーラップを考慮したDPPに基づく選択にNMSを置き換えることで、学習および推論を向上させること。
• 高品質で多様な提案の少数でさえ、冗長な提案の多数よりも検出精度を上回ることを示すこと。
• 既存の検出アーキテクチャ（Faster R-CNNなど）と互換性があり、プラグイン形式でエンド・ツー・エンドで訓練可能なモジュールを提供すること。

提案手法

• 提案の部分集合に関する確率分布を計算する微分可能なDPP層を導入し、多様で高品質な検出を促進する。
• 品質スコア行列と意味的類似度行列を組み合わせたカーネル行列Lを用いて、提案間のペアワイズ関係をモデル化する。
• 提案スコアおよび位置オフセットに関して、DPPの対数尤度の勾配を導出し、エンド・ツー・エンドのバックプロパゲーションを可能にする。
• 標準的なFaster R-CNNのマルチタスク損失（分類および回帰）と組み合わせ、共同最適化を行う。
• 推論時にNMSをDPPに基づく選択に置き換え、多様性を最大化するとともに、高スコアで正確なボックスを保持する。
• カテゴリ類似度、空間的配置、信頼度スコアを総合的に考慮する微分可能なDPP推論方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なDPP層を用いることで、モデルの複雑性を増加させることなく、領域提案の多様性を促進することでオブジェクト検出が向上するか？
• RQ2 NMSと比較して、DPPに基づく提案選択は、さまざまなオブジェクトカテゴリや空間的配置において、正確性および頑健性の面でどのように異なるか？
• RQ3 Faster R-CNNの提案数の約30％にまで削減された場合でも、明示的な多様性のモデル化により、優れた検出性能を達成できるか？
• RQ4 DPPフレームワークにおいて、意味的類似度と空間的配置が選択された提案の品質に与える影響は何か？
• RQ5 DPP層は、学習および推論の両面で一般化性能を向上させ、冗長性を低減する程度はどの程度か？

主な発見

• VOC2007では、LDDPは100個の提案でのみ60.4％のmAPを達成し、Faster R-CNNが300個の提案で達成する60.5％のmAPと同等の性能を示した。
• 提案数をFaster R-CNNの約30％にまで削減しても、依然として優れた性能を維持しており、高いサンプル効率を示した。
• MS COCOでは、DPPカーネル内の意味的類似度行列が、アブレーションスタディで検出精度を顕著に向上させた。
• VOC2007およびMS COCOの可視化結果から、LDDPは重複のない正確な検出を生成しているのに対し、NMSを用いたFaster R-CNNはしばしば重複または重複したボックスを出力していることが明らかになった。
• DPPに基づく推論方式は、意味的および空間的に多様な検出を保持することでNMSを上回り、誤検出を低減し、局所化精度を向上させた。
• DPP層の勾配計算は解析的に導出されており、標準的なバックプロパゲーションを用いたエンド・ツー・エンドの学習が可能である。