[논문 리뷰] Exploiting Egocentric Object Prior for 3D Saliency Detection

Gedas Bertasius, Hyun Soo Park외 1명|arXiv (Cornell University)|2015. 11. 09.

Visual Attention and Saliency Detection참고 문헌 24인용 수 5

한 줄 요약

이 논문은 1인칭 RGBD 영상에서 형태, 위치, 크기, 깊이 특징을 인코딩하여 3D 시각적 주목도 검출을 위한 고정 크기 사전을 모델링하는 EgoObject 표현을 제안한다. 인간 시각 인지에 관한 심리학적 발견을 활용함으로써, 3D 시각적 주목도 검출에서 30%의 상대적 향상을 달성하고, 새로운 1인칭 RGBD 주목도 데이터셋에서 향후 주목도 예측 및 상호작용 분류도 정확하게 수행할 수 있다.

ABSTRACT

On a minute-to-minute basis people undergo numerous fluid interactions with objects that barely register on a conscious level. Recent neuroscientific research demonstrates that humans have a fixed size prior for salient objects. This suggests that a salient object in 3D undergoes a consistent transformation such that people's visual system perceives it with an approximately fixed size. This finding indicates that there exists a consistent egocentric object prior that can be characterized by shape, size, depth, and location in the first person view. In this paper, we develop an EgoObject Representation, which encodes these characteristics by incorporating shape, location, size and depth features from an egocentric RGBD image. We empirically show that this representation can accurately characterize the egocentric object prior by testing it on an egocentric RGBD dataset for three tasks: the 3D saliency detection, future saliency prediction, and interaction classification. This representation is evaluated on our new Egocentric RGBD Saliency dataset that includes various activities such as cooking, dining, and shopping. By using our EgoObject representation, we outperform previously proposed models for saliency detection (relative 30% improvement for 3D saliency detection task) on our dataset. Additionally, we demonstrate that this representation allows us to predict future salient objects based on the gaze cue and classify people's interactions with objects.

연구 동기 및 목표

• 신경과학적 발견에 기반하여, 주목할 만한 물체에 대한 고정 크기 사전이 1인칭 시각 인지에서 일관되게 존재하는지 조사하는 것.
• 물체 클래스 템플릿이나 수작업 검출에 의존하지 않고 형태, 위치, 크기, 깊이 특징을 포괄하는 표현을 개발하는 것.
• 실세계 1인칭 상황에서 3D 주목도 검출, 향후 주목도 예측, 상호작용 분류 작업에 대해 표현을 평가하는 것.
• 다양한 작업을 위한 애너테이션을 제공하는 새로운 1인칭 RGBD 주목도 데이터셋을 제작하고 공개하여 주목도 모델의 견고한 평가를 지원하는 것.

제안 방법

• 1인칭 RGBD 프레임에서 형태, 위치, 크기, 깊이 특징을 인코딩하여 일관된 1인칭 물체 사전을 모델링하는 EgoObject 표현을 제안한다.
• RGBD 이미지에서 추출한 영역 수준 특징을 기반으로 훈련하여 주목도 맵을 학습하기 위해 랜덤 포레스트 분류기를 사용한다.
• 1인칭 스테레오 카메라에서 얻은 깊이 정보를 활용해 물체의 거리를 추정하며, 이는 주목도 및 상호작용 예측에 핵심적인 단서가 된다.
• 요리, 식사, 쇼핑과 같은 일상 활동을 촬영한 새로운 1인칭 RGBD 주목도 데이터셋에서 모델을 훈련하고 평가한다.
• 시간 프레임을 입력으로 사용하여 시각적 주목도 및 접근 거리 단서를 모델링함으로써 현재의 시선과 근접도 단서를 기반으로 향후 주목도를 예측한다.
• 깊이 기반 임계값을 학습하고 EgoObject 특징을 활용하여 상호작용 유형을 '보기' 또는 '촉촉'으로 분류한다.

실험 결과

연구 질문

• RQ1 주목할 만한 3차원 물체에 대해 예측 가능한 형태, 크기, 위치, 깊이 패턴을 가진 일관된 1인칭 물체 사전이 1인칭 시각 인지에서 존재하는가?
• RQ2 형태, 위치, 크기, 깊이 특징을 인코딩하는 1인칭 RGBD 표현이 이전 방법 대비 3D 주목도 검출 성능을 향상시킬 수 있는가?
• RQ3 EgoObject 표현은 1인칭 영상에서 현재의 시선과 근접도 단서를 기반으로 향후 주목할 만한 물체를 예측할 수 있는가?
• RQ4 깊이 및 공간 특징을 활용할 때 EgoObject 표현은 인간-물체 상호작용을 '보기' 또는 '촉촉'으로 분류하는 데 얼마나 효과적인가?
• RQ5 개별 특징(형태, 위치, 크기, 깊이, 맥락)이 주목도 검출에 기여하는 정도는 어떻게 되며, 어떤 것이 가장 정보가 많은가?

주요 결과

• 제안된 데이터셋에서 EgoObject 표현은 이전 모델 대비 3D 주목도 검출 성능에서 30%의 상대적 향상을 달성한다.
• 형태 특징이 주목도 검출에 가장 기여하며, 그 다음으로 위치, 크기, 깊이 특징이 그 다음이며, 맥락 특징은 가장 정보가 적다.
• 기본 주목도 검출기(SD) 대비 향후 주목도 검출기(FSD)는 평균 2초 예측에서 F-score 8.7 포인트 향상되었으며, 각각 2초, 4초, 6초 예측에서 최대 F-score는 26.1, 24.5, 22.1을 기록했다.
• EgoObject 기반 상호작용 분류기는 깊이 임계값 기반 기준 모델 대비 평균 정확도가 9.7% 높으며, 8개의 상호작용 카테고리에서 성능을 확보했다.
• 시각화 결과는 슈퍼마켓과 같은 복잡한 환경에서도 모델이 의미 있는 향후 주목도 예측을 생성함을 보여준다.
• 특징 중요도 분석 결과 깊이 및 크기 특징이 매우 정보가 많음을 확인하였으며, 이는 물체의 접근성과 인지된 크기가 1인칭 주목도에서 핵심 단서임을 심리학적 직관과 일치시킨다.