[논문 리뷰] Sequential Causal Imitation Learning with Unobserved Confounders

Daniel Kumor, Junzhe Zhang외 1명|arXiv (Cornell University)|2022. 08. 12.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 관측된 변수가 다를 경우에도 암시적 모수화된 결정 모델에서 시퀀셜 디시전 메이킹 과제에서 모의자(imitator)가 디모스트레이터의 성능을 완벽하게 재현할 수 있는지 여부를 판단하기 위한 그래픽 기준과 효율적인 알고리즘을 제안한다. 특히 관측되지 않은 혼란 변수(confounders)가 존재할 경우에 해당한다. 이 방법은 이mer티비리티(imitability)가 필수적이고도 충분한 조건을 만족시켜, 잠재 변수가 존재하는 다단계 환경에서 인과적 모의 학습을 가능하게 한다.

ABSTRACT

"Monkey see monkey do" is an age-old adage, referring to naïve imitation without a deep understanding of a system's underlying mechanics. Indeed, if a demonstrator has access to information unavailable to the imitator (monkey), such as a different set of sensors, then no matter how perfectly the imitator models its perceived environment (See), attempting to reproduce the demonstrator's behavior (Do) can lead to poor outcomes. Imitation learning in the presence of a mismatch between demonstrator and imitator has been studied in the literature under the rubric of causal imitation learning (Zhang et al., 2020), but existing solutions are limited to single-stage decision-making. This paper investigates the problem of causal imitation learning in sequential settings, where the imitator must make multiple decisions per episode. We develop a graphical criterion that is necessary and sufficient for determining the feasibility of causal imitation, providing conditions when an imitator can match a demonstrator's performance despite differing capabilities. Finally, we provide an efficient algorithm for determining imitability and corroborate our theory with simulations.

연구 동기 및 목표

• 전문가와 모의자가 관측하는 변수가 다를 경우 발생하는 인과적 모의 학습의 격차를 보완하기 위해.
• 디모스트레이터와 모의자가 다른 변수를 관측함에도 불구하고 성능이 동일한 경우에 해당하는 정확한 그래픽 조건을 규명하기 위해.
• 모의 가능성을 판단하고 시퀀스 내 각 행동에 대해 최적의 모의 정책을 합성하는 데 효율적인 알고리즘을 개발하기 위해.
• 제안된 기준이 잠재 혼란 변수가 존재하는 시퀀셜 인과 모델에서 모의 가능성을 판단하는 데 필수적이고도 충분한 조건임을 증명하기 위해.

제안 방법

• 도메인의 인과적 구조를 기록하기 위해 구조적 인과 모델(Structural Causal Model, SCM)을 사용하여 디모스트레이터와 모의자가 관측하는 변수를 표현한다.
• do-계산법에 적합한 간섭과 배경 경로를 분석함으로써 모의 가능성을 판단하기 위한 새로운 그래픽 기준을 도입한다.
• 시간 단계별로 유효한 조정 집합이 존재하는지 체계적으로 검토하여, 관측되지 않은 혼란 변수가 모의 정책에 편향을 주지 않도록 보장한다.
• 시간적 순서와 조건부 독립성을 활용하여 각 결정 포인트에서 누락된 관측을 보완할 수 있는 관측된 변수를 식별한다.
• 밀도 추정이나 대규모 데이터 처리를 피함으로써 계산적으로 효율적인 방법을 설계하였다.
• 이전의 단일 단계 인과 모의 학습 연구를 확장하여, 이전 행동에서 발생한 오류가 이후 행동으로 수정될 수 있음을 모델링함으로써 시퀀셜 환경에 적용하였다.

실험 결과

연구 질문

• RQ1 디모스트레이터와 모의자가 다른 변수 집합을 관측할 경우, 어떤 그래픽 조건에서 모의자가 시퀀셜 디시전 메이킹 과정에서 디모스트레이터의 행동을 완벽하게 모의할 수 있는가?
• RQ2 다수의 시간 단계에 걸쳐 관측되지 않은 혼란 변수가 존재하는 상황에서 모의 가능성을 판단할 수 있는가? 만약 가능하다면, 필수적이고도 충분한 조건은 무엇인가?
• RQ3 디모스트레이터가 잠재 변수에 액세스할 수 있는 상황에서, 모의자의 정책을 어떻게 구성하면 디모스트레이터의 성능과 동일한 성능을 달성할 수 있는가?
• RQ4 관측되지 않은 혼란 변수로 인해 본질적으로 모의가 불가능한 경우와, 적절한 변수 선택을 통해 가능성이 있는 경우를 구분할 수 있는가?
• RQ5 비인과적 접근 방식(예: 행동 클로닝)과 비교할 때, 제안된 방법은 관측된 부모 변수나 모든 공변량에 의존하는가?

주요 결과

• 제안된 그래픽 기준은 관측되지 않은 혼란 변수가 존재하는 시퀀셜 인과 모의 학습에서 모의 가능성을 판단하는 데 필수적이고도 충분한 조건이다.
• 시뮬레이션 결과, 가장 복잡한 케이스(그림 1d)에서 평균 오차가 0.19±0.29%에 그쳤으며, 비인과적 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 관측된 부모 변수나 모든 공변량만을 사용한 행동 클로닝은 편향된 결과를 초래했으며(예: 표 1에서 26.00±0.39% 오차), 반면 제안된 방법은 편향 없이 유지되었다.
• 비인과적 접근 방식과 달리, 관측되지 않은 변수로 인해 본질적으로 식별이 어려운 경우를 정확히 식별하였다.
• 실제 HighD 데이터를 기반으로 한 악성 합성 모델에서, 제안된 방법은 전문가 수준의 성능에 가까이 접근했고, 비인과적 방법은 편향된 정책을 도출하였다.
• 알고리즘이 후속 행동이 이전 결정의 오류를 수정할 수 있음을 성공적으로 식별하여, 중간 변수가 관측되지 않더라도 모의 가능성을 보장하였다.