[논문 리뷰] First-Person Forecasting with Online Inverse Reinforcement Learning

Nicholas Rhinehart, Kris Kitani|arXiv (Cornell University)|2016. 12. 22.

Video Surveillance and Tracking Methods인용 수 2

한 줄 요약

DARKO는 실시간으로 스트리밍되는 1인칭 시각 데이터에서 장기적인 의미적 목표와 미래 상태를 점진적으로 모델링하고 예측하는 온라인 역강화학습 프레임워크를 제안한다. 스트리밍 데이터로부터 보상, 전이, 목표를 실시간으로 학습함으로써, 노이즈가 있는 조건과 이상적인 조건 모두에서 베이스라인보다 높은 예측 정확도를 달성하며, 이론적으로도 실험적으로도 no-regret 성능을 달성한다.

ABSTRACT

We address the problem of incrementally modeling and forecasting long-term goals of a first-person camera wearer: what the user will do, where they will go, and what goal they are attempting to reach. In contrast to prior work in trajectory forecasting, our algorithm, DARKO, goes further to reason about semantic states (will I pick up an object?), and future goal states that are far both in terms of space and time. DARKO learns and forecasts from first-person visual observations of the user's daily behaviors via an Online Inverse Reinforcement Learning (IRL) approach. Classical IRL discovers only the rewards in a batch setting, whereas DARKO discovers the states, transitions, rewards, and goals of a user from streaming data. Among other results, we show DARKO forecasts goals better than competing methods in both noisy and ideal settings, and our approach is theoretically and empirically no-regret.

연구 동기 및 목표

• 1인칭 카메라 사용자의 장기적 목표, 특히 향후 행동과 목적지를 단기 경로 예측을 넘어서 모델링하고 예측하는 것.
• 기존의 배치 기반 역강화학습의 한계를 해결하기 위해 스트리밍 시각 관측에서 점진적이고 실시간으로 학습할 수 있도록 하는 것.
• 현재 관측으로부터 시간적·공간적으로 멀리 떨어져 있는 의미적 상태(예: '물체를 집는 것')와 목표를 추론하는 것.
• 다양한 데이터 품질 조건에서도 목표 예측에서 이론적으로도 실험적으로도 no-regret인 방법을 개발하는 것.
• 기존의 정적 또는 배치 기반 보상 모델에 의존하는 방법들과 비교해 노이즈가 많은 실세계 환경에서의 예측 정확도를 향상시키는 것.

제안 방법

• DARKO는 1인칭 시각 관측 스트림으로부터 보상 함수, 동역학, 목표 표현을 지속적으로 업데이트하는 온라인 역강화학습 프레임워크를 사용한다.
• 에이전트의 행동을 마르코프 결정 과정으로 모델링하며, 함수 근사와 함께 시간 차분 학습을 사용해 상태 전이와 보상 함수를 점진적으로 학습한다.
• 관측된 행동들을 군집화하고 추상적 목표 상태와 연관시켜 고수준의 의미적 목표를 추론함으로써 장기적 예측을 가능하게 한다.
• 환경 또는 행동 분포에 대한 사전 지식이 필요 없이 성능이 시간이 지남에 따라 향상되는 no-regret 학습 알고리즘을 사용한다.
• 후행 보상 및 목표 추론를 위한 상태 표현으로 사전 학습된 CNN에서 추출한 시각적 특징을 활용한다.
• DARKO는 가능한 목표들에 대한 믿음( beliefs )을 유지하고 베이지안 업데이트 및 불확실성 인식 보상 모델링을 통해 예측을 정교화한다.

실험 결과

연구 질문

• RQ1 온라인 역강화학습 시스템은 스트리밍 1인칭 시각 데이터에서 의미 수준의 목표와 미래 상태를 효과적으로 예측할 수 있는가?
• RQ2 온라인 IRL의 성능은 장기 예측 과제에서 배치 IRL 및 지도 학습 기반 예측 베이스라인과 비교해 어떻게 되는가?
• RQ3 실세계 1인칭 영상에서 흔히 볼 수 있는 노이즈가 있거나 완전하지 않은 관측 조건 하에서도 제안된 방법이 얼마나 일반화되는가?
• RQ4 온라인 학습 프레임워크는 이론적으로도 실험적으로도 목표 예측에서 no-regret 성능을 달성하는가?
• RQ5 시스템은 명시적 지도 학습 없이 저수준의 시각 관측에서 고수준의 의미적 목표(예: '컵을 들어 올리기')를 추론할 수 있는가?

주요 결과

• DARKO는 노이즈가 있는 데이터와 이상적인 데이터 조건 모두에서 경쟁 방법들보다 뛰어난 목표 예측 성능을 달성하며, 관측 불확실성에 대한 강건성을 입증한다.
• 모델은 목표가 현재 상태에서 시간적으로 멀리 떨어져 있어도 원시 시각 관측에서 '물체를 집는 것'과 같은 의미적 목표를 성공적으로 추론한다.
• DARKO의 온라인 학습 메커니즘은 변화하는 사용자 행동에 지속적으로 적응할 수 있어, 동적인 환경에서 배치 학습 기반 IRL 방법보다 뛰어난 성능을 발휘한다.
• 이론적 분석을 통해 DARKO가 목표 예측에서 no-regret임을 확인하였으며, 누적 누적 손실이 시간이 지남에 따라 다항식보다 느리게 증가함을 의미한다.
• 실험적 평가 결과, 사용자 행동이 예상 패턴에서 벗어나도 모델이 미래 상태를 높은 정확도로 예측하는 데 성공한다.
• 온라인 IRL과 시각적 특징 추출의 통합은 인간의 목표 레이블이 필요 없이도 확장 가능하고 해석 가능한 목표 예측을 가능하게 한다.