[논문 리뷰] Leveraging Explainability for Comprehending Referring Expressions in the Real World

Fethiye Irmak Doğan, Gaspar I. Melsion외 1명|arXiv (Cornell University)|2021. 07. 12.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각-언어 모델의 설명 가능성(예: Grad-CAM 활성화 및 K-means 클러스터링)을 활용하여 실제 로봇 환경에서 참조 표현을 이해하는 데 있어 새로운 방법을 제안한다. 이 방법은 사전 훈련된 객체 검출기 의존 없이도 주목할 만한 이미지 영역을 식별할 수 있으며, 특히 흔하지 않거나 검출되지 않은 객체에 대해 우수한 성능을 보인다. 이는 모호하거나 오픈 빈도어 환경에서 최신 기술 대비 뛰어난 성능을 발휘한다.

ABSTRACT

For effective human-robot collaboration, it is crucial for robots to understand requests from users and ask reasonable follow-up questions when there are ambiguities. While comprehending the users' object descriptions in the requests, existing studies have focused on this challenge for limited object categories that can be detected or localized with existing object detection and localization modules. On the other hand, in the wild, it is impossible to limit the object categories that can be encountered during the interaction. To understand described objects and resolve ambiguities in the wild, for the first time, we suggest a method by leveraging explainability. Our method focuses on the active regions of a scene to find the described objects without putting the previous constraints on object categories and natural language instructions. We evaluate our method in varied real-world images and observe that the regions suggested by our method can help resolve ambiguities. When we compare our method with a state-of-the-art baseline, we show that our method performs better in scenes with ambiguous objects which cannot be recognized by existing object detectors.

연구 동기 및 목표

• 기존의 참조 표현 이해 방법이 사전 훈련된 객체 검출기에 의존함으로써 알려진 객체 카테고리에 국한되는 한계를 해결하기 위해.
• 객체 검출기가 실패할 수 있는 실세계 환경에서 모호하거나 흔하지 않은 객체 설명에 대해 관련 이미지 영역을 식별할 수 있도록 하기 위해.
• 주목할 만한 시각적 영역에 기반해 정확하고 효율적인 질의를 생성함으로써 인간-로봇 협업을 향상시키기 위해.
• 모델의 설명 가능성(예: Grad-CAM를 통한)을 활용해 객체 카테고리에 대한 레이블 없이도 언어 이해를 시각적 맥락에 기반시킬 수 있는 메커니즘을 탐색하기 위해.

제안 방법

• 사전 훈련된 이미지 캡션 모델에서 Grad-CAM을 사용해 주어진 참조 표현에 해당하는 시각적 주목 영역을 식별하는 클래스 활성화 맵을 생성한다.
• 이 활성화 맵을 처리하여 설명된 객체와 대응하는 고활성 영역을 추출한다.
• 활성화 맵에 대해 K-means 클러스터링을 적용하여 주목할 만한 픽셀을 일관된 활성 클러스터로 그룹화하여 후보 영역을 도출한다.
• 결과적으로 생성된 활성 클러스터를 로봇의 주의 집중 영역으로 제안하여 후속 질의를 위한 명확화 질문을 유도한다.
• 이 방법은 객체 검출 또는 국소화 모듈이 필요 없어, 흔하지 않거나 알려지지 않은 모든 객체 카테고리에 적용 가능하다.
• 실세계 이미지에서 모호하거나 흔하지 않은 객체를 대상으로 성능을 평가하였으며, 최신 기술인 MAttNet과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 객체 검출에 의존하지 않고도 모델의 설명 가능성 기반으로 참조 표현에 해당하는 관련 시각적 영역을 식별할 수 있는가?
• RQ2 모호하거나 흔하지 않은 객체가 포함된 환경에서 설명 가능성 기반 방법의 성능이 최신 기술 대비 어떻게 비교되는가?
• RQ3 주목할 만한 이미지 영역에 집중함으로써 전경 전체를 대상으로 하지 않고도 효과적인 명확화 질문을 생성할 수 있는가?
• RQ4 기존 객체 검출기가 커버하지 못하는 객체 카테고리까지 얼마나 잘 처리할 수 있는가?

주요 결과

• 다수의 유사한 간섭 요소(예: 여러 마리의 물고기)가 존재하는 환경에서 제안된 방법은 MAttNet보다 뛰어난 성능을 보이며, 기준 모델이 후보 간을 구분하지 못하는 데서도 효과적으로 작동한다.
• 객체 검출기가 실패하는 흔하지 않은 객체(예: 아티초크, 파파야)에 대해서도 관련 영역을 성공적으로 식별하여 오픈 빈도어 환경에서의 강건성을 입증한다.
• 정성적 분석 결과, 방법은 의미적으로 관련 있는 이미지 영역(예: '바지 입은 남자'라는 설명에서 바지 영역)에 집중함을 보여주어 언어 이해의 시각적 맥락 기반 정착이 효과적임을 시사한다.
• 이 방법이 생성한 활성 클러스터는 '왼쪽에 있는 물고기인지 오른쪽에 있는 물고기인지'와 같은 구체적인 질의를 유도하는 데 효과적이며, 전체 요청을 반복할 필요를 줄인다.
• 이 방법은 주목할 만한, 맥락적으로 관련 있는 시각적 영역에 집중함으로써 모호한 설명을 처리할 수 있도록 하여 상호작용의 효율성을 향상시킨다.