[논문 리뷰] Interpretable Latent Spaces for Learning from Demonstration

Yordan Hristov, Alex Lascarides외 1명|arXiv (Cornell University)|2018. 07. 17.

Natural Language Processing Techniques인용 수 15

한 줄 요약

이 논문은 변동형 오토인코더의 학습된 잠재 표현을 사용자가 정의한 의미 개념(예: 색상, 크기, 모양)과 일치시키기 위해 보조 분류 손실을 통해 잠재 차원과 개념 그룹 간의 수직성을 강제하는 프레임워크를 제안한다. 이 방법은 탈결합되고 해석 가능한 표현을 달성하여 강력한 1-NN 분류 및 알려지지 않은 개념 탐지가 가능하며, β-VAE와 같은 기준 모델보다 개념 일치도와 오픈월드 인식에서 뛰어난 성능을 보인다.

ABSTRACT

Effective human-robot interaction, such as in robot learning from human demonstration, requires the learning agent to be able to ground abstract concepts (such as those contained within instructions) in a corresponding high-dimensional sensory input stream from the world. Models such as deep neural networks, with high capacity through their large parameter spaces, can be used to compress the high-dimensional sensory data to lower dimensional representations. These low-dimensional representations facilitate symbol grounding, but may not guarantee that the representation would be human-interpretable. We propose a method which utilises the grouping of user-defined symbols and their corresponding sensory observations in order to align the learnt compressed latent representation with the semantic notions contained in the abstract labels. We demonstrate this through experiments with both simulated and real-world object data, showing that such alignment can be achieved in a process of physical symbol grounding.

연구 동기 및 목표

• 사용자가 정의한 의미 개념과 학습된 잠재 표현을 일치시켜 물리적 상징 기반을 실현함으로써 인간 시범 학습에서의 로봇 학습을 가능하게 한다.
• 각 변동 인자(예: 색상, 크기)가 별개의 선형 분리 가능한 잠재 차원에 각각 인코딩되어 해석 가능성을 확보한다.
• 통합된 잠재 공간을 통해 알려진 개념과 알려지지 않은 개념(오픈월드 인식)의 강력한 추론을 지원한다.
• 약한 레이블이 부여된 인간 시범을 활용하여 샘플 효율성과 모델의 해석 가능성을 향상시킨다.
• 최소한의 인간 입력으로도 합성 및 실제 세계 환경에서 탈결합되고 해석 가능한 표현을 학습할 수 있음을 입증한다.

제안 방법

• 사용자가 정의한 각 개념 그룹에 대해 하나의 보조 분류기 헤드를 갖는 변동형 오토인코더(VAE)를 훈련하며, 각 분류기는 단일 잠재 차원에서 레이블을 예측한다.
• 각 분류기는 잠재 공간에서 선형 분리 가능한 决定 경계를 생성하도록 훈련되어, 각 개념 그룹이 별개의 기저 벡터에 따라 인코딩되도록 보장한다.
• 손실 함수는 VAE 재구성 손실과 보조 분류기의 교차 엔트로피 손실을 조합하여 탈결합성과 개념별 표현을 장려한다.
• 훈련 후, 각 레이블 클래스에 대한 1D 정규분포 추정과 알려지지 않은 레이블을 위한 중간 분포를 사용하여 1-NN 분류를 수행한다.
• 잠재 활성화가 알려진 클래스 분포 외부에 위치할 경우 불확실성을 모델링함으로써 이 프레임워크는 알려지지 않은 인스턴스를 탐지할 수 있어 오픈월드 인식을 지원한다.
• 프레임워크는 인간에 의해 애너테이션된 기호로 정의된 개념 그룹을 가진 합성(dSprites, 색상 포함) 및 실제 세계 물체 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 심층 생성 모델은 각 변동 인자(예: 색상, 크기)가 별개의 수직 잠재 차원에 각각 인코딩된 탈결합되고 해석 가능한 잠재 공간을 학습할 수 있는가?
• RQ2 그러한 표현은 알려진 개념의 강력한 1-NN 분류와 함께 알려지지 않은 개념 탐지(오픈월드 인식)를 가능하게 하는가?
• RQ3 비지도 기반 모델인 β-VAE와 비교해 볼 때, 제안된 방법은 개념 일치도와 새로운 데이터에 대한 일반화 능력에서 어떤가?
• RQ4 약한 레이블이 부여된 인간 시범만을 사용하여 이 프레임워크는 실제 로봇 조작 작업에 일반화 가능한가?
• RQ5 잠재 공간에서 개념 그룹 간의 수직성을 강제하는 것이 해석 가능성과 후속 추론 성능을 향상시키는가?

주요 결과

• 전체 모델은 학습된 기저 벡터와 의미 개념 간에 높은 코사인 유사도(예: 빨간색 0.98, 작은 크기 0.93)를 달성하여 강력한 축 일치를 나타낸다.
• 분류기 전용 베이스라인은 알려진 클래스 분류에서는 유사한 성능을 보였지만, 알려지지 않은 사례 탐지에 실패했으며, dSprites에서 알려지지 않은 사례의 F1 스코어는 α=0일 때 0.29, γ=0일 때 0.23로 떨어졌다.
• β-VAE 베이스라인은 축 일치를 유지하지 못했으며, 색상과 크기 개념이 여러 잠재 차원에 퍼져 있어 해석 가능성에 악영향을 주었다.
• 실제 세계 데이터에서 전체 모델은 파란색 F1 스코어 0.87, 빨간색 0.86, 알려지지 않은 사례 0.95를 기록하여 알려진 및 알려지지 않은 인스턴스 모두에서 뛰어난 성능을 보였다.
• α=1, γ≠0을 가진 모델이 알려진 및 알려지지 않은 탐지 간의 최적의 균형을 달성했으며, dSprites에서 파란색 F1 스코어 0.88, 빨간색 0.98, 알려지지 않은 사례 0.87을 기록했다.
• 프레임워크는 클래스별 1D 정규분포와 알려지지 않은 사례를 위한 중간 분포를 사용하여 1-NN 분류를 성공적으로 구현했으며, 이는 오픈월드 추론을 지원한다.