[論文レビュー] PatchDCT: Patch Refinement for High Quality Instance Segmentation

Qinrou Wen, Jirui Yang+2 more|arXiv (Cornell University)|Feb 6, 2023

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

PatchDCT は、DCT 復号マスクをパッチに分割し、各パッチを3クラス分類器および低次元 DCT ベクトル回帰器を用いて精錬する、高品質なインスタンスセグメンテーションのための新しいパッチベースの精錬フレームワークを提案する。Cityscapes において Mask-RCNN より 4.5% AP および 7.0% バウンダリー AP の向上を達成し、DCT-Mask よりも 1.3% AP および 4.2% バウンダリー AP の向上を達成する一方、推論速度のオーバーヘッドは最小限に抑えられる。

ABSTRACT

High-quality instance segmentation has shown emerging importance in computer vision. Without any refinement, DCT-Mask directly generates high-resolution masks by compressed vectors. To further refine masks obtained by compressed vectors, we propose for the first time a compressed vector based multi-stage refinement framework. However, the vanilla combination does not bring significant gains, because changes in some elements of the DCT vector will affect the prediction of the entire mask. Thus, we propose a simple and novel method named PatchDCT, which separates the mask decoded from a DCT vector into several patches and refines each patch by the designed classifier and regressor. Specifically, the classifier is used to distinguish mixed patches from all patches, and to correct previously mispredicted foreground and background patches. In contrast, the regressor is used for DCT vector prediction of mixed patches, further refining the segmentation quality at boundary locations. Experiments on COCO show that our method achieves 2.0%, 3.2%, 4.5% AP and 3.4%, 5.3%, 7.0% Boundary AP improvements over Mask-RCNN on COCO, LVIS, and Cityscapes, respectively. It also surpasses DCT-Mask by 0.7%, 1.1%, 1.3% AP and 0.9%, 1.7%, 4.2% Boundary AP on COCO, LVIS and Cityscapes. Besides, the performance of PatchDCT is also competitive with other state-of-the-art methods.

研究の動機と目的

• Mask-RCNN や DCT-Mask における粗いマスク表現の限界を解消し、微細なディテールと境界の正確性を保持すること。
• 全 DCT ベクトル精錬の不安定性を克服し、変化がグローバルな依存性によりマスク全体に影響を与えるのを防ぐこと。
• マスク精錬を局所的なパッチ単位の操作に分離することで、マルチステージ精錬を可能にし、境界の正確性とセグメンテーション品質を向上させること。
• ベースライン手法と比較して計算コストをほとんど増加させない、軽量で効率的なフレームワークを設計すること。

提案手法

• 300次元の DCT ベクトルから復号された高解像度マスクを、重複のないパッチ（例：8×8 または 14×14）に分解し、局所的精錬を実施する。
• 各パッチを前景、背景、混合の3クラスに分類する分類器を用い、誤分類された領域の補正を可能にする。
• 混合パッチにのみ、低次元（例：6次元）の DCT ベクトル回帰器を適用し、境界ディテールを精錬する。
• 逆離散コサイン変換（IDCT）を用いて精錬されたパッチを再構築し、正しく分類されたパッチと統合して最終的な高解像度マスクを形成する。
• パッチ同士の独立性を保証し、1つのパッチの DCT ベクトルの変更が他のパッチに影響しないようにすることで、グローバルなマスク歪みを回避する。
• 分類器と回帰器をマルチタスク損失を用いてエンドツーエンドで学習し、分類精度と DCT ベクトル再構成忠実度の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 グローバル DCT ベクトル精錬と比較して、DCT 符号化マスクの局所的パッチ単位精錬はインスタンスセグメンテーション品質の向上に寄与するか？
• RQ2 マスク精錬を前景、背景、混合パッチのカテゴリに分離することで、境界の正確性が向上し、誤分類が減少するか？
• RQ3 混合パッチにおける低次元 DCT ベクトル回帰により、計算コストを増加させずに微細な境界ディテールを効果的に回復できるか？
• RQ4 パッチサイズおよび DCT ベクトル次元数は、精錬品質とモデル複雑性のトレードオフにどのように影響するか？
• RQ5 マルチステージ精錬は顕著な向上をもたらすか？一方、1段階の PatchDCT で十分に最先端の性能が達成可能か？

主な発見

• PatchDCT は COCO において Mask-RCNN より 2.0% AP および 3.4% バウンダリー AP の向上を達成し、LVIS では 3.2% AP および 5.3% バウンダリー AP、Cityscapes では 4.5% AP および 7.0% バウンダリー AP の向上を達成した。
• COCO では DCT-Mask より 0.7% AP および 0.9% バウンダリー AP の向上、LVIS では 1.1% AP および 1.7% バウンダリー AP、Cityscapes では 1.3% AP および 4.2% バウンダリー AP の向上を達成した。
• 3クラス分類器はバイナリ分類より 0.3% AP および 0.4% AP* の優位性を示し、誤分類された前景および背景パッチの補正の重要性を示している。
• 回帰器を削除すると、AP B が 1.2% 減少し、AP* B が 3.0% 減少するため、境界ディテールの精錬において回帰器が果たす重要な役割が確認された。
• 1パッチあたり6次元の DCT ベクトルが最適な性能を達成し、それ以上の次元数では利得が減少する傾向を示した。
• 1段階の PatchDCT が十分であることが判明した。2段階精錬は性能向上がわずかであり、計算コストはほぼ2倍に増加した。