[논문 리뷰] Learning to Act Properly: Predicting and Explaining Affordances from Images

Ching-Yao Chuang, Jiaman Li외 2명|arXiv (Cornell University)|2017. 12. 20.

Multimodal Machine Learning Applications참고 문헌 29인용 수 8

한 줄 요약

이 논문은 물리적 및 사회적 예외를 포함한 이미지에서 행동-객체 기능을 예측하기 위한 그래프 신경망(GNN) 기반 모델을 제안한다. 설명과 결과를 함께 제공한다. ADE-Affordance 데이터셋을 도입하고, GNN를 통한 맥락적 추론이 기준 방법을 초월해 기능 예측 성능을 향상시킴을 보여주며, 특히 장면에 따라 달라지는 제약 조건을 다룰 때 유의미한 성능 향상을 보인다.

ABSTRACT

We address the problem of affordance reasoning in diverse scenes that appear in the real world. Affordances relate the agent's actions to their effects when taken on the surrounding objects. In our work, we take the egocentric view of the scene, and aim to reason about action-object affordances that respect both the physical world as well as the social norms imposed by the society. We also aim to teach artificial agents why some actions should not be taken in certain situations, and what would likely happen if these actions would be taken. We collect a new dataset that builds upon ADE20k, referred to as ADE-Affordance, which contains annotations enabling such rich visual reasoning. We propose a model that exploits Graph Neural Networks to propagate contextual information from the scene in order to perform detailed affordance reasoning about each object. Our model is showcased through various ablation studies, pointing to successes and challenges in this complex task.

연구 동기 및 목표

• 실세계 장면에서 물리적 및 사회적 제약 조건을 고려하여 어떤 행동이 안전하고 적절한지 인공 에이전트가 추론할 수 있도록 하는 것.
• 행동 기능에 대한 장면에 따라 달라지는 예외(이유와 결과 포함)를 캡처하는 새로운 데이터셋(ADE-Affordance)을 수집하고 애너테이션하는 것.
• 시각적 및 맥락적 신호를 사용하여 기능 예측, 특정 행동이 부적절한 이유의 설명, 그리고 예상 결과를 예측하는 모델을 개발하는 것.
• 시각적 추론을 위한 기능 예측에서 전역 맥락, 물체 특징, 공간적 관계의 기여도를 평가하는 것.

제안 방법

• 모델은 개체 수준의 의미적 세그멘테이션에서 생성된 장면 그래프를 사용하며, 노드는 물체를 나타내고, 간선은 공간적 인접성을 표현한다.
• 그래프 신경망(GNN)은 이웃 노드로부터의 메시지를 집계하여 노드 표현을 전파하고 업데이트함으로써 맥락적 관계를 포착한다.
• 물체 특징은 ResNet 특징을 사용하여 인코딩하고, 전역 이미지 특징은 노드 표현을 풍부하게 하는 데 사용된다.
• 최종 예측 헤드는 RNN 기반 언어 모델을 사용하여 기능 레이블, 자연어 설명, 예측된 결과를 생성한다.
• 다중 작업 학습을 통해 기능, 설명, 결과를 동시에 예측하고, 작업 간에 GNN 파라미터를 공유함으로써 효율성을 향상시킨다.
• 제거 분석을 통해 전역 맥락, 물체 종류, 물체 특징의 기여도를 평가하고, 최적의 성능을 위해 GNN 전파 단계 수를 튜닝한다.

실험 결과

연구 질문

• RQ1 물리적 불가능성이나 사회적 부적절성과 같은 장면에 따라 달라지는 기능 예외를 시각적 추론에서 어떻게 모델링할 수 있는가?
• RQ2 지역적 물체 특징에 비해 전역 이미지 맥락은 기능 예측에 어떤 역할을 하는가?
• RQ3 통합된 GNN 기반 아키텍처가 높은 성능으로 기능, 설명, 결과를 동시에 예측할 수 있는가?
• RQ4 물체 간의 공간적 관계는 기능 예측 정확도에 어떤 영향을 미치는가?
• RQ5 효율적인 시각적 추론을 위해 GNN에서 최적의 메시지 전달 단계 수는 얼마인가?

주요 결과

• 공간적 GGNN 모델은 '앉기' 행동의 관계 예측에서 평균 정확도 0.745를 기록하여 단항 기준 모델을 능가한다.
• 전역 이미지 특징을 제거하면 단항 모델의 성능이 크게 떨어지지만, GNN 모델에는 영향이 덜 미치며, 이는 GNN이 지역 맥락을 더 효과적으로 활용함을 시사한다.
• 물체 종류 정보가 가장 중요한 입력이며, 이를 제거하면 성능 저하가 가장 크게 발생하여 기능 추론에서의 중요성을 강조한다.
• GNN의 메시지 전달 단계 수가 T=3에서 포화 상태에 도달하여, 더 깊은 메시지 전달이 성능 향상에 기여하지 않음을 시사한다.
• 공유된 GGNN 파라미터를 사용한 다중 작업 학습은 독립 모델과 유사한 성능을 달성하여, 작업 간 파라미터 공유의 가능성을 입증한다.
• 부정확한 개체 세그멘테이션에도 불구하고 모델은 전체 시각적 추론 작업에서 합리적인 성능을 기록하여, 세그멘테이션 오류에 대해 강건함을 보여준다.