[論文レビュー] Yes-Net: An effective Detector Based on Global Information

Liangzhuang Ma, Xin Kan+3 more|arXiv (Cornell University)|Jun 28, 2017

Advanced Neural Network Applications参考文献 3被引用数 4

ひとこと要約

Yes-Net は、CNN バックボーン内に RNN ベースのモジュールを統合することで、グローバルコンテキストを統合し、特徴表現を向上させるリアルタイムオブジェクト検出フレームワークを提案する。独立したアンカーボックスの生成にフルディメンション k-means を使用し、NMS を RNN ベースのフィルタリング機構に置き換え、416×416 入力で VOC2007 で 79.2% の mAP を達成し、39 FPS の速度を実現した。

ABSTRACT

This paper introduces a new real-time object detection approach named Yes-Net. It realizes the prediction of bounding boxes and class via single neural network like YOLOv2 and SSD, but owns more efficient and outstanding features. It combines local information with global information by adding the RNN architecture as a packed unit in CNN model to form the basic feature extractor. Independent anchor boxes coming from full-dimension k-means is also applied in Yes-Net, it brings better average IOU than grid anchor box. In addition, instead of NMS, Yes-Net uses RNN as a filter to get the final boxes, which is more efficient. For 416 x 416 input, Yes-Net achieves 79.2% mAP on VOC2007 test at 39 FPS on an Nvidia Titan X Pascal.

研究の動機と目的

• ローカルおよびグローバルな特徴表現を効果的に活用するリアルタイムオブジェクト検出モデルの開発。
• 畳み込みニューラルネットワーク（CNN）特徴抽出パイプラインに再帰ニューラルネットワーク（RNN）を統合することで、バウンディングボックスおよびクラス予測の精度を向上。
• 非最大値抑制（NMS）ステップを RNN ベースのフィルタリング機構に置き換えることで、より高速な推論を実現。
• グリッドベースのアンカーボックスと比較して、より高い IoU 性能を達成するため、フルディメンション k-means クラスタリングを用いてアンカーボックス生成を最適化。
• VOC2007 などの標準ベンチマークで、高い mAP と低い推論遅延を両立する。

提案手法

• 長距離依存性を捉え、グローバル特徴表現を強化するため、CNN アーキテクチャ内に RNN モジュールをパックされたユニットとして統合。
• 標準的なグリッドベースのアンカーボックス生成と比較して、全特徴マップ全域にわたって独立したアンカーボックスを生成するために、フルディメンション k-means クラスタリングを採用。
• 従来の NMS を、最終的な検出をより効率的に選択する RNN ベースのポストプロセッシングフィルタに置き換え。
• YOLOv2 や SSD に類似したシングルステージ検出器アーキテクチャを採用し、最終特徴マップから直接クラススコアとバウンディングボックスを予測。
• エンドツーエンドのネットワークを、標準的な検出損失関数を用いて学習し、バックプロパゲーション中に RNN パrameter も同時に最適化。
• 局所的特徴とグローバル特徴の統合を促進するため、マルチスケール特徴マッピング統合と空間的スーパービジョンを適用。

実験結果

リサーチクエスチョン

• RQ1 CNN ベースのオブジェクト検出器に RNN を統合することで、グローバルコンテキストをモデル化し、検出精度を向上させることができるか？
• RQ2 アンカーボックス生成にフルディメンション k-means クラスタリングを用いることで、従来のグリッドベースのアンカーボックス生成と比較して、平均 IoU が向上するか？
• RQ3 RNN ベースのフィルタリング機構が NMS を置き換え、推論時間の短縮を図りながらも、検出性能を維持または向上させることができるか？
• RQ4 局所的特徴とグローバル特徴の統合が、リアルタイムオブジェクト検出における mAP にどの程度寄与するか？
• RQ5 VOC2007 において、YOLOv2 や SSD などの最先端のワンステージ検出器と比較して、Yes-Net は速度と精度の両面でどの程度の性能を示すか？

主な発見

• Yes-Net は 416×416 入力解像度を用いて、VOC2007 テストセットで 79.2% の mAP を達成した。
• モデルは NVIDIA Titan X Pascal GPU で 39 FPS で実行され、リアルタイム推論の能力を示した。
• アンカーボックス生成にフルディメンション k-means を使用したことで、標準的なグリッドベースのアンカーボックス生成と比較して、平均 IoU が向上した。
• RNN ベースのフィルタリング機構により NMS が置き換えられ、検出品質を損なわず、より高速な推論が実現した。
• CNN バックボーンに RNN を統合することで、グローバルコンテキストを捉えることで特徴表現が向上し、より良い局所化と分類が可能になった。
• mAP においてベースラインモデルを上回りながらも、高い推論速度を維持したため、ワンステージ検出器におけるグローバル情報統合の有効性が裏付けられた。