[論文レビュー] Not just a matter of semantics: the relationship between visual similarity and semantic similarity

Clemens-Alexander Brust, Joachim Denzler|arXiv (Cornell University)|Nov 17, 2018

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 6

ひとこと要約

本稿は、視覚的類似性と意味的類似性の関係を、それぞれ5つの異なる指標を用いて調査し、WordNetに基づく意味的類似性が、異なるクラスが異なるように見えるという基本的仮定を超えて、視覚的類似性を予測する意味のあるパワーを有することを示している。主な発見は、意味的類似性が視覚的類似性よりもモデルの誤り認識（confusion）とより強く相関していることである。これは、意味的アプローチが分類以外のタスクにおいてより効果的である可能性を示唆しているが、誤った意味的知識はまったくの知識がない状態よりも悪影響を及ぼすことがある。

ABSTRACT

Knowledge transfer, zero-shot learning and semantic image retrieval are methods that aim at improving accuracy by utilizing semantic information, e.g. from WordNet. It is assumed that this information can augment or replace missing visual data in the form of labeled training images because semantic similarity correlates with visual similarity. This assumption may seem trivial, but is crucial for the application of such semantic methods. Any violation can cause mispredictions. Thus, it is important to examine the visual-semantic relationship for a certain target problem. In this paper, we use five different semantic and visual similarity measures each to thoroughly analyze the relationship without relying too much on any single definition. We postulate and verify three highly consequential hypotheses on the relationship. Our results show that it indeed exists and that WordNet semantic similarity carries more information about visual similarity than just the knowledge of "different classes look different". They suggest that classification is not the ideal application for semantic methods and that wrong semantic information is much worse than none.

研究の動機と目的

• 画像分類における視覚的類似性と意味的類似性の関係を厳密に評価し、異なるクラスが異なるように見えるという仮定が意味的類似性を視覚的類似性に信頼性を持って予測できるかどうかを検証する。
• WordNetからの意味的類似性が、異なるクラスが異なるように見えるというベースライン期待を超えて、意味のある予測パワーを有するかどうかを検証する。
• 意味的類似性がモデルの誤り認識と視覚的類似性よりも強く相関するかどうかを調査する。これは、意味的アプローチが誤り認識の低減という目的を果たすかどうかに関連する。
• 意味的類似性と視覚的類似性が一致しない失敗事例（特に野生生物モニタリングのような実世界の応用において顕著）を同定する。
• 画像ラベルの意味的単純化の性質を踏まえ、意味的アプローチが分類以外のタスクにおいてどのように機能するかを検討する。

提案手法

• 本研究では、5つの異なる意味的類似性指標（例：Jiang-Conrath、Leacock-Chodorow）と5つの視覚的類似性指標（例：GIST、深層特徴）を用い、データセット全体で類似性の関係を評価する。
• 視覚的類似性と意味的類似性の一致度を定量的に測定するために、順位相関（Spearmanのrho）が用いられる。
• 異なるクラスが異なるように見えるというベースライン仮定と比較して、意味的類似性とモデルの誤り認識の相関を評価する。
• 意味的類似性と視覚的類似性が乖離する事例（例：鹿と森、オシドリとヒマワリ）を対象とした定性的分析が実施される。
• 訓練済み分類器の誤り認識行列を評価することで、視覚的類似性、意味的類似性、誤り認識パターンの間の関係を検証する。
• ランダムに並べ替えられたラベルを用いたアブレーション実験により、誤った意味的情報が、情報なしの状態よりも性能を悪化させるかどうかを検証する。

実験結果

リサーチクエスチョン

• RQ1 WordNetからの意味的類似性は、異なるクラスが異なるように見えるという基本的仮定よりも、視覚的類似性を予測するのにより多くの情報を提供するか？
• RQ2 視覚的類似性はモデルの誤り認識とどの程度相関するか。また、これはベースライン期待値を上回る相関であるか？
• RQ3 意味的類似性とモデルの誤り認識の間には、視覚的類似性と誤り認識の間よりも強い関連があるか？
• RQ4 意味的アプローチはゼロショット学習や知識移転において信頼性を持って性能を向上させられるか、それとも意味的・視覚的不一致の事例で失敗しやすいか？
• RQ5 包括的な画像記述（ホリスティックな記述）は、意味的類似性と視覚的類似性の整合性にどのように影響するか。これは、複雑なビジョンタスクにおいて何を示唆するか？

主な発見

• 意味的類似性と視覚的類似性の間には統計的に有意な相関（Spearmanのrho = 0.23）が認められ、これはベースラインの相関（0.17）を上回っている。これは、意味的類似性が単なるクラスの相違性を超えて、より多くの情報を提供していることを示している。
• 意味的類似性とモデルの誤り認識の相関（rho = 0.39）は、視覚的類似性（rho = 0.21）とベースライン（rho = 0.21）を上回っており、意味的知識が誤り認識パターンをよりよく予測できることを示唆している。
• ランダムに並べ替えられたラベルでは、視覚的類似性との相関はほぼゼロ（rho ≈ 0）であるが、誤り認識とは依然として相関（rho = 0.21）を示しており、誤った意味的知識ですら、情報なしの状態よりもモデルを誤導する可能性があることを示している。
• 鹿と森が視覚的に類似しているが意味的に遠く離れているような失敗事例は、画像分類タスクが意味的・視覚的不一致に特に脆弱であることを強調しており、画像が単一の概念に簡略化される場合に顕著である。
• 本研究では、意味的類似性指標が視覚的類似性指標よりも人間の知覚において一貫性が高く、知覚の複雑さにもかかわらず意味的定義の間でより高い合意が得られていることが分かった。
• 結果から、意味的アプローチが、二値分類の区別よりも包括的な意味的文脈が重要となる画像キャプション生成や視覚的推論といった非分類タスクに適している可能性が示唆される。