[論文レビュー] Ref-NMS: Breaking Proposal Bottlenecks in Two-Stage Referring Expression Grounding

Long Chen, Wenbo Ma+3 more|arXiv (Cornell University)|Sep 3, 2020

Topic Modeling参考文献 51被引用数 13

ひとこと要約

本稿では、2段階の参照表現接地（REG）手法を向上させるために、最初の段階で表現に適応したオブジェクト候補を生成し、提案と参照対象の整合性をスコアリングする軽量モジュールを用いてNMSをガイドする、新しい手法Ref-NMSを提案する。本手法は、複数のベンチマークで最先端の性能を達成し、testBセットにおいて最大4.72%の絶対的向上を一貫して示した。

ABSTRACT

The prevailing framework for solving referring expression grounding is based on a two-stage process: 1) detecting proposals with an object detector and 2) grounding the referent to one of the proposals. Existing two-stage solutions mostly focus on the grounding step, which aims to align the expressions with the proposals. In this paper, we argue that these methods overlook an obvious mismatch between the roles of proposals in the two stages: they generate proposals solely based on the detection confidence (i.e., expression-agnostic), hoping that the proposals contain all right instances in the expression (i.e., expression-aware). Due to this mismatch, current two-stage methods suffer from a severe performance drop between detected and ground-truth proposals. To this end, we propose Ref-NMS, which is the first method to yield expression-aware proposals at the first stage. Ref-NMS regards all nouns in the expression as critical objects, and introduces a lightweight module to predict a score for aligning each box with a critical object. These scores can guide the NMS operation to filter out the boxes irrelevant to the expression, increasing the recall of critical objects, resulting in a significantly improved grounding performance. Since Ref- NMS is agnostic to the grounding step, it can be easily integrated into any state-of-the-art two-stage method. Extensive ablation studies on several backbones, benchmarks, and tasks consistently demonstrate the superiority of Ref-NMS. Codes are available at: https://github.com/ChopinSharp/ref-nms.

研究の動機と目的

• 2段階の参照表現接地（REG）手法における検出候補と正解候補の間の性能格差を是正すること。
• 根本的な不一致を特定：最初の段階の検出器は検出信頼度のみを用いるが、2段階目の接地では候補が表現に適応している必要があること。
• 提案フィルタリング中に参照表現からの言語的手がかりを統合することで、重要なオブジェクト（例：参照対象および文脈）の再現率を向上させること。
• 接地ヘッドを変更せずに、任意の2段階REGフレームワークを強化できるプラグアンドプレイモジュールを開発すること。
• 異なるバックボーン、データセット、タスク（RECおよびRES）において一貫した性能向上を実証すること。

提案手法

• 参照表現内のすべての名詞を局所化すべき重要なオブジェクトとして扱う。
• 各候補と各重要なオブジェクトの間の類似度スコアを予測する、軽量で微分可能なモジュールを導入する。
• 類似度スコアと検出信頼度を組み合わせて、NMS抑制のための複合スコアを形成する。
• NMS操作を変更し、信頼度が高く、かつ参照表現内の重要なオブジェクトと整合性の高い候補を優先するようにする。
• 接地モジュールに依存しないようにし、任意の2段階REGモデルに統合可能であることを保証する。
• 関連性スコアリングヘッドを検出器とエンドツーエンドで学習するために、バイナリクロスエントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜ2段階REG手法は、市販の検出器を用いて候補を生成する際、顕著な性能低下を示すのか？
• RQ2 検出信頼度に基づく候補生成と表現に適応した接地の間の不一致が、モデル性能にどの程度悪影響を及えるのか？
• RQ3 重要なオブジェクト（参照対象および文脈）の候補再現率を向上させることで、接地正確性に測定可能な向上が得られるか？
• RQ4 接地モジュールを変更せずに、表現に適応した軽量NMS機構が性能向上にどの程度有効であるか？
• RQ5 提案されたRef-NMS手法は、異なるバックボーン、データセット、およびタスク（RECおよびRES）に一般化可能か？

主な発見

• Ref-NMSはRefCOCOのtestBセットで最大4.72%の絶対的向上を達成し、評価されたすべてのバックボーンで一貫した向上を示した。
• RECタスクにおいて、平均してRefCOCO、RefCOCO+、RefCOCOgでそれぞれ2.64%、0.53%、2.26%の向上を達成した。
• RESタスクにおいて、3つのデータセットで平均して2.82%、0.31%、1.65%の向上を達成し、2段階手法として新たなSOTAを樹立した。
• 向上の程度は、重要なオブジェクトの再現率の向上と強く相関しており、本手法が候補のボトルネックを効果的に緩和していることを確認した。
• 定性的な結果では、Ref-NMSはより表現に適応した候補を生成し、ベースラインと比較して誤検出を減らし、参照対象の漏れも少なくした。
• 失敗事例でさえも、Ref-NMSはより妥当な候補を生成しており、接地エラーの主な原因は2段階目の処理に起因していることが示唆された。