[논문 리뷰] Binge Watching: Scaling Affordance Learning from Sitcoms

Xiaolong Wang, Rohit Girdhar외 1명|arXiv (Cornell University)|2018. 04. 09.

Robot Manipulation and Learning참고 문헌 36인용 수 3

한 줄 요약

이 논문은 7편의 시트콤에서 1억 프레임의 데이터에서 추출한 28,882개의 액터포즈를 포함하는 대규모 데이터셋을 소개하며, 인간-객체 상호작용의 스케일러블 학습을 가능하게 한다. 두 단계로 구성된 방법을 제안한다: 먼저 장면 내 위치에서 가능한 포즈 유형을 분류하고, 그 다음 변동성과 스케일 변형을 다양하게 생성하기 위해 변동형 오토인코더(Variational Autoencoder, VAE)를 사용한다. 이는 기준 모델 대비 일반화 능력을 크게 향상시킨다.

ABSTRACT

In recent years, there has been a renewed interest in jointly modeling perception and action. At the core of this investigation is the idea of modeling affordances(Affordances are opportunities of interaction in the scene. In other words, it represents what actions can the object be used for). However, when it comes to predicting affordances, even the state of the art approaches still do not use any ConvNets. Why is that? Unlike semantic or 3D tasks, there still does not exist any large-scale dataset for affordances. In this paper, we tackle the challenge of creating one of the biggest dataset for learning affordances. We use seven sitcoms to extract a diverse set of scenes and how actors interact with different objects in the scenes. Our dataset consists of more than 10K scenes and 28K ways humans can interact with these 10K images. We also propose a two-step approach to predict affordances in a new scene. In the first step, given a location in the scene we classify which of the 30 pose classes is the likely affordance pose. Given the pose class and the scene, we then use a Variational Autoencoder (VAE) to extract the scale and deformation of the pose. The VAE allows us to sample the distribution of possible poses at test time. Finally, we show the importance of large-scale data in learning a generalizable and robust model of affordances.

연구 동기 및 목표

• 로봇공학 및 컴퓨터 비전 분야에서 시각적 액터포즈를 학습하기 위한 대규모이고 다양한 데이터셋의 부족 문제를 해결하기 위해.
• 물리적 시뮬레이션이나 수동 레이블링에 의존하지 않고도 장면 내 인간 상호작용 포즈를 예측하기 위한 확장성 있고 데이터 효율적인 방법을 개발하기 위해.
• 텔레비전 프로그램에서 얻은 다양하고 실제적인 인간 상호작용 패턴을 활용하여 액터포즈 예측의 일반화 능력과 강건성을 향상시키기 위해.
• 스케줄된 장면에서 유도된 대규모 약한 감독 데이터가 환경의 功能적 이해를 위한 모델 훈련에 효과적으로 활용될 수 있음을 보여주기 위해.

제안 방법

• 자동 프레임 처리 및 장면 정렬을 통해 7편의 시트콤에서 1억 프레임의 데이터에서 1만 개 이상의 장면과 28,882개의 인간-객체 상호작용 포즈를 추출한다.
• 주어진 장면 내 위치에서 가장 가능성이 높은 액터포즈 유형을 예측하기 위해 30개 클래스의 포즈 분류 네트워크를 사용한다.
• 각 예측된 포즈 유형에 대해 스케일과 변형의 분포를 모델링하기 위해 변동형 오토인코더(Variational Autoencoder, VAE)를 훈련한다. 이는 테스트 시점에서 확률적 샘플링을 가능하게 한다.
• 테스트 시 랜덤한 잠재 노이즈 벡터를 사용해 VAE 디코딩을 적용하여 동일한 장면과 위치에 대해 다수의 타당하고 다양한 포즈를 생성한다.
• 기준 모델로는 히트맵 기반 접근법을 사용하며, 예측된 히트맵을 클러스터 중심에 매칭하여 포즈 분류를 수행한다.
• 사람의 평가와 양성/음성 테스트 샘플에 대한 정밀도-재현율 곡선을 사용하여 분류 성능 및 포즈의 현실성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 스케줄된 텔레비전 프로그램에서 유도된 대규모 약한 감독 데이터가 시각적 액터포즈 예측을 위한 모델 훈련에 효과적으로 활용될 수 있는가?
• RQ2 훈련 데이터의 규모를 증가시키는 것이 액터포즈 예측의 일반화 능력과 강건성 향상에 기여하는가?
• RQ3 VAE 기반 접근법이 결정론적 또는 평균 출력보다 인간의 직관에 더 잘 부합하는 다양하고 현실적인 포즈 변형을 생성할 수 있는가?
• RQ4 제안된 두 단계 방법(분류 + VAE 보정)이 기준 히트맵 기반 접근법 대비 포즈 분류 정확도에서 어떻게 성능을 내는가?

주요 결과

• 25,000개의 데이터 포인트로 훈련한 결과 상위 5개 정답률이 50.9%에 도달하여, 히트맵 기반 기준 모델(47.3%)보다 유의미하게 높았다.
• 사람 평가 결과, 모델이 예측한 포즈가 실제 레이블보다 46%의 경우에서 더 현실적으로 평가되었으며, 인간 수준의 식별 성능에 가까워졌다.
• VAE 기반 방법은 동일한 장면과 위치에 대해 다수의 타당하고 다양한 포즈 변형을 성공적으로 생성하여 포즈 분포의 불확실성을 모델링할 수 있음을 보여주었다.
• 정밀도-재현율 곡선 분석 결과, 25,000개 데이터 포인트로 훈련된 모델이 주어진 포즈가 장면에서 타당한지 분류하는 데 가장 뛰어난 성능을 보였다.
• 결과적으로, 시트콤에서 유도된 대규모 실세계 상호작용 데이터는 더 작은 또는 시뮬레이션된 데이터셋으로 훈련된 모델보다 더 잘 일반화되는 모델을 효과적으로 훈련시킬 수 있음을 시사한다.