[논문 리뷰] Not just a matter of semantics: the relationship between visual similarity and semantic similarity

Clemens-Alexander Brust, Joachim Denzler|arXiv (Cornell University)|2018. 11. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 6

한 줄 요약

이 논문은 다섯 가지의 서로 다른 측정법을 각각 시각적 유사성과 의미적 유사성에 대해 사용하여 시각적 유사성과 의미적 유사성 간의 관계를 조사한다. 이는 WordNet 기반의 의미적 유사성이 단순히 다른 클래스가 다르게 보인다는 기본 가정을 넘어서 시각적 유사성에 대해 의미 있는 예측 능력을 지닌다는 것을 보여준다. 주요 발견은 의미적 유사성이 모델의 혼동과 더 강하게 상관되며, 이는 의미적 방법이 분류가 아닌 작업에서 더 효과적일 수 있음을 시사한다. 그러나 잘못된 의미 지식은 전혀 지식이 없는 것보다 악영향을 줄 수 있다.

ABSTRACT

Knowledge transfer, zero-shot learning and semantic image retrieval are methods that aim at improving accuracy by utilizing semantic information, e.g. from WordNet. It is assumed that this information can augment or replace missing visual data in the form of labeled training images because semantic similarity correlates with visual similarity. This assumption may seem trivial, but is crucial for the application of such semantic methods. Any violation can cause mispredictions. Thus, it is important to examine the visual-semantic relationship for a certain target problem. In this paper, we use five different semantic and visual similarity measures each to thoroughly analyze the relationship without relying too much on any single definition. We postulate and verify three highly consequential hypotheses on the relationship. Our results show that it indeed exists and that WordNet semantic similarity carries more information about visual similarity than just the knowledge of "different classes look different". They suggest that classification is not the ideal application for semantic methods and that wrong semantic information is much worse than none.

연구 동기 및 목표

• 이미지 분류에서 시각적 유사성과 의미적 유사성 간의 관계를 철저히 평가하여, 서로 다른 클래스가 다르게 보인다는 기본 가정이 의미 지식이 시각적 유사성을 신뢰성 있게 예측한다는 것을 도전한다.
• WordNet에서 유도한 의미적 유사성이 서로 다른 클래스가 다르게 보인다는 기본 기대를 넘어서 의미 있는 예측 능력을 지닌다며 이를 검증한다.
• 의미적 유사성이 모델 혼동과의 상관관계가 시각적 유사성보다 더 강한지 조사한다. 이는 의미적 방법이 혼동을 줄이는 데 목적이 있기 때문이다.
• 의미적 유사성과 시각적 유사성이 맞지 않는 실패 케이스(특히 야생 동물 모니터링과 같은 실제 응용에서)를 특정한다.
• 이미지 레이블의 의미적 단순화 성격을 감안할 때, 의미적 방법이 분류가 아닌 작업에 어떻게 활용될 수 있는지 탐색한다.

제안 방법

• 연구는 다섯 가지의 서로 다른 의미적 유사성 측정법(예: Jiang-Conrath, Leacock-Chodorow)과 다섯 가지의 시각적 유사성 측정법(예: GIST, 딥 특징)을 사용하여 데이터셋 간의 관계를 평가한다.
• 의미적 유사성과 시각적 유사성 간의 일치 정도를 정량적으로 측정하기 위해 순서 상관관계(Spearman's rho)를 사용한다.
• 다른 클래스가 다르게 보인다는 기본 가정을 바탕으로 한 기준과 비교하여, 의미적 유사성이 모델 혼동과의 상관관계를 평가한다.
• 의미적 유사성과 시각적 유사성이 갈라지는 실패 케이스(예: 사슴과 숲, 또는 올리브꽃과 해바라기)에 대해 정성적 분석을 수행한다.
• 훈련된 분류기의 혼동 행렬을 평가하여 시각적 유사성, 의미적 유사성, 혼동 패턴 간의 관계를 분석한다.
• 임의로 랜덤으로 클래스 레이블을 재배열한 아블레이션 실험을 통해 잘못된 의미 정보가 성능에 미치는 영향이 전혀 정보가 없는 것보다 더 나쁘게 작용하는지 테스트한다.

실험 결과

연구 질문

• RQ1 WordNet에서 유도한 의미적 유사성이 서로 다른 클래스가 다르게 보인다는 기본 가정을 넘어서 시각적 유사성에 대해 더 많은 정보를 제공하는가?
• RQ2 시각적 유사성이 모델 혼동과 얼마나 상관되며, 이 상관관계는 기본 기대 수준보다 더 강한가?
• RQ3 의미적 유사성과 모델 혼동 간의 상관관계가 시각적 유사성과 혼동 간의 상관관계보다 더 강한가?
• RQ4 의미적 방법은 제로샷 학습이나 지식 전이에서 성능을 안정적으로 향상시킬 수 있는가, 아니면 의미-시각 불일치 상황에서 실패할 가능성이 있는가?
• RQ5 통합적인 이미지 기술서가 의미적 유사성과 시각적 유사성 간의 일치에 어떤 영향을 미치며, 이는 복잡한 시각 작업에 대해 어떤 함의를 갖는가?

주요 결과

• 의미적 유사성과 시각적 유사성 간의 상관관계는 통계적으로 유의미하다(Spearman’s rho = 0.23), 기본 상관관계 0.17를 초월하여 의미적 유사성이 단순히 클래스 간의 구별성 외에도 더 많은 정보를 제공함을 시사한다.
• 의미적 유사성과 모델 혼동 간의 상관관계는 더 강하다(rho = 0.39), 이는 시각적 유사성과 기본 기준보다도 높으며 의미 지식이 혼동 패턴을 더 잘 예측할 수 있음을 시사한다.
• 랜덤으로 재배열된 클래스 레이블은 시각적 유사성과는 상관관계가 없음(rho ≈ 0)이지만 여전히 혼동과 상관관계가 있음(rho = 0.21)을 보여주며, 잘못된 의미 지식이 전혀 지식이 없는 것보다도 모델을 더 혼동시킬 수 있음을 시사한다.
• 실패 케이스(예: 사슴과 숲이 시각적으로 유사하지만 의미적으로는 거리가 먼 경우)는 이미지 분류 작업이 의미-시각 불일치에 취약함을 보여주며, 특히 이미지가 단일 개념으로 단순화될 경우 더욱 심각하다.
• 연구 결과 의미적 유사성 측정법은 시각적 유사성 측정법보다 인간의 인지에 더 일관되게 작용함을 보이며, 시각적 복잡성에도 불구하고 의미 정의에 대해 더 높은 일치도를 보임을 시사한다.
• 결과적으로 의미적 방법이 분류가 아닌 작업(예: 이미지 캡션 생성, 시각적 추론 등)에 더 적합할 수 있음을 시사한다. 이는 이성적 의미가 더 중요하고, 이진 분류 개념보다는 통합적 의미가 더 관련성이 있기 때문이다.