[論文レビュー] Learning non-maximum suppression

Jan Hosang, Rodrigo Benenson+1 more|arXiv (Cornell University)|May 8, 2017

Video Surveillance and Tracking Methods参考文献 34被引用数 36

ひとこと要約

この論文では、オブジェクト検出器における従来のグリーディNMS後処理ステップを置き換える学習可能な非最大抑制（NMS）ネットワーク、Gnetを提案する。バウンディングボックスとそのスコアを深層ニューラルネットワークで統合的に処理することで、Gnetは冗長な検出をエンドツーエンドで学習し、局所化性能と隠蔽状況の処理性能を向上させ、COCOおよびPETSデータセットにおいてグリーディNMSより一貫して1 mAPポイントの向上を達成する。

ABSTRACT

Object detectors have hugely profited from moving towards an end-to-end learning paradigm: proposals, features, and the classifier becoming one neural network improved results two-fold on general object detection. One indispensable component is non-maximum suppression (NMS), a post-processing algorithm responsible for merging all detections that belong to the same object. The de facto standard NMS algorithm is still fully hand-crafted, suspiciously simple, and -- being based on greedy clustering with a fixed distance threshold -- forces a trade-off between recall and precision. We propose a new network architecture designed to perform NMS, using only boxes and their score. We report experiments for person detection on PETS and for general object categories on the COCO dataset. Our approach shows promise providing improved localization and occlusion handling.

研究の動機と目的

• グリーディNMSの限界を解消するため、固定しきい値に基づく手作業で設計された後処理ステップであり、精度と再現率のトレードオフを強制する点に起因する。
• 後処理としてのNMSの必要性をなくすために、検出結果に対して直接NMSを実行するニューラルネットワークを学習する。
• NMSを学習パイプラインに統合することで、オブジェクト検出器の真のエンドツーエンド学習を可能にする。
• 検出スコアと空間的オーバーラップに基づく適応的抑制を学習することで、特に隠蔽や密集したシーンにおいて検出性能を向上させる。

提案手法

• 原始的なバウンディングボックスとその信頼度スコアを入力とし、洗練された非オーバーラップ検出を出力する畳み込みニューラルネットワークアーキテクチャ、Gnetを提案する。
• 同じオブジェクトに対して複数の検出が生じるのを罰する微分可能な損失関数を設計し、ネットワークが冗長な予測を抑制するよう促進する。
• 検出結果をノードとみなし、重複する検出同士を学習可能なアテンションまたはメッセージパッシング層で接続するグラフのような処理メカニズムを採用する。
• 複数スケールで動作する残差型アーキテクチャを複数のブロックで構成し、さまざまなオブジェクト配置に対応した複雑な抑制パターンの学習を可能にする。
• 画像特徴や外部モデルの意思決定を必要とせず、真のラベルのオブジェクト位置に基づく教師あり学習によって、ネットワークをエンドツーエンドで訓練する。
• クラスごとのスコアを処理できるように入力・出力ヘッドを変更することで、単一クラス（PETS）および多クラス（COCO）の検出タスクに同じアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 画像特徴や手作業で設計されたしきい値に依存せずに、深層ニューラルネットワークを用いて非最大抑制を学習可能か？
• RQ2 学習可能なNMS機構は、特に隠蔽や密集したオブジェクト配置のような困難な状況において検出性能を向上させるか？
• RQ3 単一のニューラルネットワークアーキテクチャが多様なオブジェクトカテゴリに一般化可能で、複数のデータセットでグリーディNMSを置き換えることができるか？
• RQ4 最適なデータセットごとのしきい値チューニングを施したグリーディNMSと比較して、学習されたNMS（Gnet）の性能はどの程度優れているか？
• RQ5 ネットワークの性能は、アーキテクチャの深さや学習データ量にどの程度依存するか？

主な発見

• COCOデータセットでは、グリーディNMSに比べて一貫して1 mAPポイントの向上を達成し、クラス別に最適なしきい値をチューニングしたグリーディNMSと比較して、mAP@0.5:0.95が23.5%から24.3%に上昇した。
• PETS歩行者検出データセットでは、低隠蔽および高隠蔽レベルの両方で性能向上が確認され、AP@0.5およびAP@0.5:0.95の両方で向上が得られた。
• 2つのブロックのみで、グリーディNMSを上回る約1 mAPポイントの向上を達成しており、浅いアーキテクチャでも強力な学習能力を示している。
• アーキテクチャの深さに応じて性能のばらつきが減少する傾向を示しており、深さが増すにつれて安定性と一般化性能が向上している。
• COCOの80のカテゴリのうち70でグリーディNMSを上回り、深刻な失敗は一切なく、多様なオブジェクトクラスに広く適用可能であることが示された。
• 検証およびテストセットの両方で優れた一般化性能を示しており、データを記憶するのではなく意味のある抑制パターンを学習していることが確認された。