[논문 리뷰] In Defense of the Direct Perception of Affordances

David F. Fouhey, Xiaolong Wang외 1명|arXiv (Cornell University)|2015. 05. 05.

Advanced Vision and Imaging참고 문헌 37인용 수 10

한 줄 요약

이 논문은 제임스 J. 지브슨의 기능적 성질에 대한 직접 인지 이론을 방어하기 위해 픽셀 데이터에서 직접 기능적 성질(예: 앉을 수 있는, 손이 닿을 수 있는 등)을 추정하는 두 가지 딥러닝 기반 방법을 제안한다. 이는 중간 단계의 의미적 또는 3D 표현을 거치지 않고 이루어진다. 저자들은 직접 인지가 기능적 성질 추정에서 간접적 접근 방식을 능가하고 3D 장면 이해를 향상시킴으로써, 기능적 성질이 작업에 특화된 효과적인 특징으로 기능할 수 있음을 보여준다.

ABSTRACT

The field of functional recognition or affordance estimation from images has seen a revival in recent years. As originally proposed by Gibson, the affordances of a scene were directly perceived from the ambient light: in other words, functional properties like sittable were estimated directly from incoming pixels. Recent work, however, has taken a mediated approach in which affordances are derived by first estimating semantics or geometry and then reasoning about the affordances. In a tribute to Gibson, this paper explores his theory of affordances as originally proposed. We propose two approaches for direct perception of affordances and show that they obtain good results and can out-perform mediated approaches. We hope this paper can rekindle discussion around direct perception and its implications in the long term.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 제임스 J. 지브슨의 직접 인지 이론에 대한 기능적 성질의 재평가 및 방어.
• 의미나 3D 기하학과 같은 중간 표현을 거치지 않는 직접 인지 방법의 개발 및 평가.
• 직접 기능적 성질 예측이 기능 인식 작업에서 간접적 접근 방식을 능가할 수 있음을 입증하는 것.
• 기능적 성질이 후속 3D 장면 이해 작업을 위한 특징으로서의 유용성을 탐색하는 것.
• 시각 및 로봇 분야에서 직접 인지의 타당성과 장점에 대한 학술적 논의를 재점화하는 것.

제안 방법

• 중간 수준의 표현 방식을 제안하여, 의미적 또는 3D 재구성과 같은 중간 단계 없이 이미지 픽셀에서 직접 기능적 성질을 예측하는 데 사용되는 학습된 특징을 활용한다.
• 딥러닝 기반 방법을 도입하여 컨volutional 신경망을 사용해 원시 이미지 픽셀에서부터 종단 간 전이 방식으로 기능적 성질을 예측한다.
• UIUC 및 NYUv2 데이터셋을 사용해 픽셀 단위의 기능적 레이블(예: 앉을 수 있는, 손이 닿을 수 있는 등)을 기반으로 모델을 훈련시킨다.
• 재현율-정밀도 곡선과 재현율 지수를 사용해 성능을 평가하며, 직접적 접근과 간접적 접근 방식을 비교한다.
• 후속 작업(예: 3D 장면 레이아웃 추정, 수평 표면 탐지)에서 예측된 기능적 성질 맵을 특징으로 활용한다.
• 기능적 성질 모델의 신뢰도 점수를 활용해 탐지 성능을 향상시키며, 기하학적 신호와의 조합에서 보완적인 성능 향상을 보여준다.

실험 결과

연구 질문

• RQ1 의미적 또는 3D 표현과 같은 중간 단계 없이 이미지 픽셀에서 직접 기능적 성질을 인지할 수 있는가?
• RQ2 의미나 3D 기하학을 먼저 추정하는 간접적 접근 방식보다 기능적 성질의 직접 인지가 더 우수한가?
• RQ3 기능적 성질 예측이 3D 장면 이해 작업을 위한 효과적인 특징이 될 수 있는가?
• RQ4 간접 파ip라인에서 중간 표현의 오류가 최종 기능적 성질 예측에 어떤 영향을 미치는가?
• RQ5 기능적 성질이 직접 인지를 가능하게 하는 환경 빛의 불변성 요소로서 얼마나 중요한가?

주요 결과

• 중간 수준의 직접 인지 접근 방식은 UIUC 데이터셋에서 '앉을 수 있는' 경우 0.17의 재현율 지수를 기록했고, '누워 있을 수 있는' 경우 0.46을 기록하여 이전의 간접적 방법과 동등하거나 이를 초월하는 성능을 보였다.
• 직접 인지 방법은 특히 중간 표현에서 발생하는 복구 불가능한 오류가 발생하는 경우에 간접적 접근 방식을 능가하는 것으로 나타났다.
• 중간 레이블을 추정할 때, 더 풍부한 40개 클래스의 표현보다는 더粗안 13개 클래스의 의미적 표현이 더 우수한 성능을 보였다. 이는 오류 전파의 영향 때문이다.
• 기능적 성질의 신뢰도 점수를 특징으로 사용함으로써 기하학적 특징만 사용할 때보다 수평 표면 탐지 성능이 3.1% AP 향상되었고, 기하학적 특징과 조합했을 경우 추가로 0.3% 향상되었다.
• 기능적 성질 예측은 이전 방법에서의 이진 마스크 출력과 달리 의미 있는 신뢰도 점수를 제공하여 정밀도-재현율 간의 트레이드오프를 가능하게 했다.
• 결과적으로 기능적 성질은 기하학적 신호와 보완적인 역할을 하며, 인간 상호작용 데이터가 필요 없이도 3D 장면 이해를 향상시킬 수 있음을 시사한다.