[論文レビュー] PolyFormer: Referring Image Segmentation as Sequential Polygon Generation

Jiang Liu, Hui Ding+5 more|arXiv (Cornell University)|Feb 14, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

PolyFormerは、画素単位のセグメンテーションの限界を克服するため、新しい一括変換（sequence-to-sequence）Transformerフレームワークを用いて、連続的な2次元座標を回帰によって直接予測することで、参照画像セグメンテーションを段階的な多角形生成問題として定式化する。定量化誤差を回避し、RefCOCO+およびRefCOCOgでそれぞれ5.40%および4.52%の絶対的mIoU向上を達成し、微調整なしで参照動画セグメンテーションに良好に一般化する。

ABSTRACT

In this work, instead of directly predicting the pixel-level segmentation masks, the problem of referring image segmentation is formulated as sequential polygon generation, and the predicted polygons can be later converted into segmentation masks. This is enabled by a new sequence-to-sequence framework, Polygon Transformer (PolyFormer), which takes a sequence of image patches and text query tokens as input, and outputs a sequence of polygon vertices autoregressively. For more accurate geometric localization, we propose a regression-based decoder, which predicts the precise floating-point coordinates directly, without any coordinate quantization error. In the experiments, PolyFormer outperforms the prior art by a clear margin, e.g., 5.40% and 4.52% absolute improvements on the challenging RefCOCO+ and RefCOCOg datasets. It also shows strong generalization ability when evaluated on the referring video segmentation task without fine-tuning, e.g., achieving competitive 61.5% J&F on the Ref-DAVIS17 dataset.

研究の動機と目的

• 参照画像セグメンテーションにおける画素単位のセグメンテーションの限界を解消するため、物体の境界を構造的な多角形シーケンスとしてモデル化すること。
• 頂点予測のための離散的座標量子化を連続的回帰に置き換えることで、幾何的局所化精度を向上させること。
• 共通のシーケンス・ツー・シーケンスフレームワークの下で、参照画像セグメンテーションと参照表現理解を統合すること。
• 微調整なしで、動画ベースの参照セグメンテーションタスクにゼロショット一般化を可能にすること。
• 視覚的および言語的特徴を自然に統合できる柔軟なマルチモーダルシーケンスモデリングフレームワークを設計すること。

提案手法

• PolyFormerは、画像パッチトークンとテキストクエリトークンの連結シーケンスを入力とする一括変換（sequence-to-sequence）Transformerアーキテクチャを採用する。
• モデルは自己回帰的に多角形の頂点シーケンスを生成し、各予測が以前のすべての頂点に条件付けられることで空間的構造を保持する。
• バイリニア補間を用いたインデックス付き埋め込み上での回帰ベースのデコーダーにより、浮動小数点座標を正確に予測し、離散的ビン分割による定量化誤差を排除する。
• 分離トークンを用いることで、複数の多角形インスタンスを処理できるようにし、マルチタスク学習を支援する。
• 多角形の頂点は、画像原点に最も近い点から時計回りに順序付けられ、一貫性があり意味のあるシーケンス構築を保証する。
• 訓練時にデータ拡張を適用し、多角形の粗さをさまざまなレベルで生成することで、耐障害性と一般化性能を向上させる。

Figure 1 : The illustration of PolyFormer pipeline for referring image segmentation (polygon vertex sequence) and referring expression comprehension (bounding box corner points). The polygons are converted to segmentation masks in the end.

実験結果

リサーチクエスチョン

• RQ1 参照画像セグメンテーションは、密度の高い画素単位の予測ではなく、段階的な多角形生成問題として効果的に再定式化可能か？
• RQ2 幾何的局所化タスクにおいて、連続的2次元座標予測のための回帰ベースのデコーダーは、分類ベースの手法を上回る性能を示すか？
• RQ3 共通のマルチモーダル特徴を共有する一括変換フレームワークにより、参照画像セグメンテーションと参照表現理解を同時に処理できるか？
• RQ4 提案されたフレームワークは、微調整なしでどの程度ゼロショットの参照動画セグメンテーションに一般化可能か？
• RQ5 多角形の順序付け、データ拡張、マルチタスク学習といった設計選択が、多角形生成における性能にどのように影響するか？

主な発見

• PolyFormerはRefCOCOで76.94%のmIoU、RefCOCO+で72.15%、RefCOCOgで71.15%を達成し、それぞれ2.48%、5.40%、4.52%の絶対的向上を記録し、新たな最先端性能を確立した。
• 回帰ベースのデコーダーは、RISおよびRECタスクにおいて、分類ベースのベースラインを+1.86および+2.38 mIoU上回り、優れた局所化精度を示した。
• 微調整なしでRef-DAVIS17の参照動画セグメンテーションで61.5%のJ&Fを達成し、強力なゼロショット一般化能力を示した。
• 多角形の順序付けが極めて重要であり、ランダム順序付けに比べてmIoUが12.43%向上した。データ拡張とマルチタスク学習はそれぞれ3.72%および3.07%の顕著な向上をもたらした。
• <SEP>トークンの追加により、多角形インスタンスの処理が可能になり、mIoUが0.82%向上した。これは、多角形インスタンスが少ないにもかかわらず、その有用性が示された。
• 可視化結果から、クロスアテンションマップが参照オブジェクトに集中し、多角形生成の過程で境界を動的に追跡していることが確認され、アテンションが意味的意図と整合していることを裏付けた。

Figure 2 : Overview of our PolyFormer architecture. The model takes an image and its corresponding language expression as input, and outputs the floating-point 2D coordinates of the bounding box and polygons in an autoregressive way.