[論文レビュー] Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion

Hao Zhou, Tiancheng Shen+5 more|arXiv (Cornell University)|Nov 6, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、意味的類似度を用いたソフトスコアに二値の真陽性を置き換えることで、オープンボックス画像セグメンテーションのための新規評価指標 Open mIoU、Open AP、Open PQ を提案する。WordNetのパス類似度を活用することで、ゼロショットおよびクロスデータセット設定において人間の判断とより整合性が高くなり、閉じた集合の仮定を超えたモデルの汎化性能をより一貫して評価できる。

ABSTRACT

In this paper, we highlight a problem of evaluation metrics adopted in the open-vocabulary segmentation. That is, the evaluation process still heavily relies on closed-set metrics on zero-shot or cross-dataset pipelines without considering the similarity between predicted and ground truth categories. To tackle this issue, we first survey eleven similarity measurements between two categorical words using WordNet linguistics statistics, text embedding, and language models by comprehensive quantitative analysis and user study. Built upon those explored measurements, we designed novel evaluation metrics, namely Open mIoU, Open AP, and Open PQ, tailored for three open-vocabulary segmentation tasks. We benchmarked the proposed evaluation metrics on 12 open-vocabulary methods of three segmentation tasks. Even though the relative subjectivity of similarity distance, we demonstrate that our metrics can still well evaluate the open ability of the existing open-vocabulary segmentation methods. We hope that our work can bring with the community new thinking about how to evaluate the open ability of models. The evaluation code is released in github.

研究の動機と目的

• オープンボックスセグメンテーションの既存評価指標の根本的欠陥を特定する：予測ラベルと正例ラベルの意味的類似度を無視する閉じた集合の指標に依存していること。
• 11種類の単語類似度測定法（WordNet、テキスト埋め込み（GloVe、FastText、Word2Vec）、言語モデル（CLIP、BERT、GPT、T5））の妥当性を調査・比較し、オープンボックス評価に適した方法を特定する。
• オープンボックスセマンティック、インスタンス、パノプティックセグメンテーションタスクに特化した新しい評価指標 Open mIoU、Open AP、Open PQ を設計する。
• 3つのタスクにおいて12の最先端のオープンボックスセグメンテーションモデルをベンチマークし、提案指標の有効性と人間の認識との整合性を検証する。
• カテゴリマッチングに厳密に依存しない評価パイプラインへのパラダイムシフトを促進し、モデルの汎化性能を評価する際、意味的類似度を組み込む。

提案手法

• カテゴリに依存しないマッチング戦略を採用し、予測マスクと正例マスクの間で最も高いIoUを示すペairを特定する。これにより、カテゴリラベルに依存した厳密なマッチングを回避する。
• 予測ラベルと正例ラベルのカテゴリ間の意味的類似度に基づいたソフトスコアに、二値の真陽性（TP）、偽陽性（FP）、偽陰性（FN）スコアを置き換える。
• 意味的類似度の測定に WordNet パス類似度を優先する。これは中程度の値を示し、多義語の区別が可能で、データに依存せず、人間の認知と整合性があるからである。
• セマンティックセグメンテーション用に Open mIoU、インスタンスセグメンテーション用に Open AP、パノプティックセグメンテーション用に Open PQ を構築し、それぞれIoUと類似度に基づくスコアを統合する。
• COOとADE20Kのインハウスおよびクロスデータセット設定で3つのタスクに応用し、異なる類似度測定法（パス、GloVe、T5）を用いたアブレーションスタディを実施する。
• 1,000名の参加者を対象としたユーザースタディを実施し、パス類似度法が他の類似度測定法と比較して人間の好みに適合していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 予測ラベルと正例ラベルが意味的に類似しているが同一ではない場合、既存の閉じた集合評価指標は、なぜセグメンテーションモデルの真のオープンワールド性能を捉えられていないのか？
• RQ2 11種類の単語類似度測定法（WordNet、テキスト埋め込み、事前学習済み言語モデル）の中で、解釈可能性、頑健性、人間の認識との整合性を両立させるために、どの方法が最も適しているか？
• RQ3 提案されたオープン指標（Open mIoU、Open AP、Open PQ）は、ゼロショットおよびクロスデータセット設定において、従来の指標と比較して評価の一貫性と人間との整合性をどの程度向上させているか？
• RQ4 新しい指標は、誤ったが意味的に類似したラベル予測の状況において、セグメンテーション品質と分類精度の両方にどの程度感受性を示すか？
• RQ5 提案指標は、異なるセグメンテーションタスク（セマンティック、インスタンス、パノプティック）および検出タスクに一般化可能か？また、異なるデータセットやIoU閾値において、その改善効果はどの程度安定しているか？

主な発見

• 1,000名の参加者を対象としたユーザースタディで、WordNetのパス類似度法が最も高い人間満足度スコア（平均6.12／10）を達成し、GloVe（3.05）やT5（4.29）を上回った。
• Open AP はインスタンスセグメンテーションにおいてインハウスおよびクロスデータセット設定の両方で、従来のAPを常に上回った。特に新規クラスにおいて大きな改善が見られ、意味的類似度への感受性が裏付けられた。
• Open RQ は、ターゲットデータセット（ADE20K）での改善が、ソースデータセット（COCO）よりも顕著に大きかった。これは、意味的距離への感受性と、オープンワールド設定下での認識品質の捕捉能力を裏付けた。
• Open PQ はセグメンテーション品質に強く感受性を示し、意味的類似度が高い場合に誤ったラベルが付与されたマスクペアに対しても高いスコアを正しく割り当てた。これは、オープンボックス文脈における誤分類に対するロバストネスを示している。
• アブレーションスタディの結果、パス法を用いた Open PQ は中程度で信頼性の高い結果を示したが、GloVe や T5 は認識品質を過大評価しており、埋め込みベースの類似度測定法にバイアスが生じる可能性があることが示された。
• 特に Open AP と Open PQ は、さまざまなIoU閾値やタスク（オブジェクト検出を含む）において安定した改善を示し、広範な適用可能性と頑健性を示した。