[논문 리뷰] ImageSpirit: Verbal Guided Image Parsing

Ming‐Ming Cheng, Shuai Zheng외 7명|Radar (Oxford Brookes University)|2013. 10. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 54인용 수 32

한 줄 요약

이 논문은 ImageSpirit을 제안하며, 명사들을 개체 레이블로, 형용사를 시각적 속성으로 간주하여 다중 레이블 CRF를 통해 공동으로 모델링함으로써 픽셀 단위 분할을 위한 상호작용적이고 언어 지도형 이미지 분할을 가능하게 한다. 사용자는 자연어 명령어를 통해 결과를 보완하며, 실시간 속도에서 높은 품질의 인간 친화적인 장면 분할을 달성한다. 이는 실제 이미지에 대한 정량적 평가와 사용자 연구를 통해 검증되었다.

ABSTRACT

Humans describe images in terms of nouns and adjectives while algorithms operate on images represented as sets of pixels. Bridging this gap between how humans would like to access images versus their typical representation is the goal of image parsing, which involves assigning object and attribute labels to pixel. In this paper we propose treating nouns as object labels and adjectives as visual attribute labels. This allows us to formulate the image parsing problem as one of jointly estimating per-pixel object and attribute labels from a set of training images. We propose an efficient (interactive time) solution. Using the extracted labels as handles, our system empowers a user to verbally refine the results. This enables hands-free parsing of an image into pixel-wise object/attribute labels that correspond to human semantics. Verbally selecting objects of interests enables a novel and natural interaction modality that can possibly be used to interact with new generation devices (e.g. smart phones, Google Glass, living room devices). We demonstrate our system on a large number of real-world images with varying complexity. To help understand the tradeoffs compared to traditional mouse based interactions, results are reported for both a large scale quantitative evaluation and a user study.

연구 동기 및 목표

• 사람의 언어 기술(명사와 형용사)과 픽셀 수준의 이미지 표현 사이의 의미적 격차를 해소하기 위해.
• 언어적 보완 기능을 지원하는 효율적이고 상호작용적인 이미지 분할 시스템을 개발하기 위해.
• 스마트워치, 구글 글래스, 거실용 시스템과 같은 장치에 특히 적합한 손을 쓰지 않고 자연어로 상호작용할 수 있도록 하기 위해.
• 정량적 평가와 사용자 연구 환경에서 기존 마우스 기반 보완 방식과 비교하여 언어 상호작용의 효과성을 평가하기 위해.

제안 방법

• 명사를 개체 클래스 레이블로, 형용사를 시각적 속성 레이블로 간주하여 이미지 분할을 위한 의미적 핸들링을 생성하기 위해.
• 이를 위해 새로운 다중 레이블 인자 분해 조건부 랜덤 필드(CRF)를 사용하여 이미지 특징과 학습 데이터로부터 픽셀 단위의 개체 및 속성 레이블을 공동으로 추정한다.
• 학습 데이터에서 얻은 학습된 점수를 이용해 개체 및 속성의 잠재력을 통합함으로써, 더 높은 분할 정확도를 위한 공동 추론을 가능하게 한다.
• 사용자가 '유리 그림을 보완해줘'와 같은 자연어 명령어를 통해 분할 결과를 보완하도록 허용하며, 이를 통해 CRF 항목의 가중치를 재조정하여 예측을 조정한다.
• 공동 CRF 모델의 인수 분해를 활용하여 필터링 기반 기법을 사용해 효율적인 추론을 구현함으로써, 실시간 반응 시간을 확보한다.
• 분할된 영역을 기반으로 색상/재질 변경, 개체 변형, 재배치, 의미 기반 애니메이션 등의 후속 편집 작업을 지원한다.

실험 결과

연구 질문

• RQ1 자연어 기술(명사와 형용사)이 이미지 분할 결과를 보완하기 위한 상호작용적 핸들로 효과적으로 사용될 수 있는가?
• RQ2 공동 다중 레이블 CRF 모델은 개체와 속성 간의 상호보완적 관계를 모델링함으로써 분할 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 실시간 속도에서 자연어 명령어가 기존의 마우스 기반 보완 방식에 비해 얼마나 높은 품질의 인간 친화적인 이미지 분할을 생성할 수 있는가?
• RQ4 구분 가능한 속성이 제공되지 않을 경우, 언어 기반 보완의 실패 모드는 무엇이며, 얼마나 자주 발생하는가?
• RQ5 학습 데이터에 포함되지 않은 개체에 대해 단지 속성 기술에 의존함으로써 시스템이 일반화할 수 있는가?

주요 결과

• 자연어 명령어를 사용하여 높은 품질의 상호작용적 이미지 분할을 달성하였으며, 테스트한 이미지의 87%가 속성 기반 명령어로 성공적으로 보완되었다.
• 사용자 연구와 대규모 정량적 평가를 통해 언어 상호작용이 효과적이고 직관적임을 확인하였으며, 특히 손을 쓰지 않는 장치에서 두각을 나타냈다.
• 다중 레이블 CRF를 통한 개체와 속성의 공동 모델링은 별도로 모델링하는 것보다 더 높은 분할 성능을 제공한다.
• 분할된 영역을 기반으로 색상 변경, 재질 이동, 개체 재배치, 의미 기반 애니메이션 등의 다양한 편집 작업을 지원한다.
• 한계가 있음에도 불구하고, 테스트한 이미지의 13% (78개 중 10개)만이 구분 가능한 속성이 없어 보완되지 못했으며, 이는 높은 강건성을 시사한다.
• 학습 데이터에 포함되지 않은 개체에 대해서도 속성 기술에 의존함으로써 분할이 가능하므로, 제로샷 일반화 잠재력이 있음을 보여준다.