[논문 리뷰] Imitation Learning from Pixel-Level Demonstrations by HashReward

Xin-Qiang Cai, Yao-Xiang Ding외 2명|arXiv (Cornell University)|2019. 09. 09.

Multimodal Machine Learning Applications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 고차원 픽셀 환경에서 차원 축소와 분류 학습의 균형을 이루기 위해 지도 학습 기반 해싱를 사용하는 새로운 암호화 학습 방법인 HashReward을 제안한다. 임베딩 학습과 보상 생성을 공동 최적화함으로써 HashReward은 효과적인 적대적 암호화 학습을 가능하게 하여, Atari 및 MuJoCo 벤치마크에서 최신 기술보다 뚜렷한 성능 격차를 보이며 크게 승승한다.

ABSTRACT

One of the key issues for imitation learning lies in making policy learned from limited samples to generalize well in the whole state-action space. This problem is much more severe in high-dimensional state environments, such as game playing with raw pixel inputs. Under this situation, even state-of-the-art adversary-based imitation learning algorithms fail. Through empirical studies, we find that the main cause lies in the failure of training a powerful discriminator to generate meaningful rewards in high-dimensional environments. Although it seems that dimensionality reduction can help, a straightforward application of off-the-shelf methods cannot achieve good performance. In this work, we show in theory that the balance between dimensionality reduction and discriminative training is essential for effective learning. To achieve this target, we propose HashReward, which utilizes the idea of supervised hashing to realize such an ideal balance. Experimental results show that HashReward could outperform state-of-the-art methods for a large gap under the challenging high-dimensional environments.

연구 동기 및 목표

• 원시 픽셀 입력이 있는 고차원 상태 공간에서 적대적 기반 암호화 학습이 실패하는 문제를 해결하기 위해.
• 기존 방법에서 성능 저하의 근본 원인이 차원 축소와 분류 학습 간의 불균형에 있음을 규명하기 위해.
• 차원 축소 과정 동안도 분류 정보를 유지하면서 효과적인 보상 신호 생성이 가능한 통합 프레임워크를 설계하기 위해.
• 제한된 전문가 시범 데이터 하에서 일반화 능력과 샘플 효율성을 향상시키기 위해.
• 지도 학습 기반 해싱가 적대적 암호화 학습에서 분류-보상 간의 트레이드오���을 효과적으로 균형 잡을 수 있는지 입증하기 위해.

제안 방법

• 적대적 암호화 학습과 통합된 지도 학습 기반 해싱를 통합한 공동 최적화 프레임워크인 HashReward을 제안한다.
• 전문가 및 전문가 유사 정책 트레이젝터리에서 64비트 해시 코드를 학습하기 위해 사이라미스 네트워크 아키텍처를 사용한다.
• 임베딩 공간 내에서 분류 구조를 유지하기 위해 하드 음성 마이닝을 통한 대비 손실을 도입한다.
• 해시 코드를 입력으로 받는 판별자 구조를 도입하여 의미적 유사성 기반으로 의미 있는 보상 신호를 생성할 수 있도록 한다.
• GAIL 유사 목적 함수를 사용하여 정책과 판별자를 엔드 투 엔드로 동시에 훈련시키며, 판별자의 손실에 분류 및 대비 지도를 모두 포함시킨다.
• 학습 안정성 향상과 임베딩의 일반화 성능 향상을 위해 온도 조정 기반 대비 손실을 적용한다.

실험 결과

연구 질문

• RQ1 최신 기술 기반의 적대적 기반 암호화 학습 방법이 고차원 픽셀 환경에서 실패하는 이유는 무엇인가?
• RQ2 암호화 학습에서 비지도 차원 축소를 사용할 경우 성능 저하가 발생하는 원인은 무엇인가?
• RQ3 차원 축소와 분류 학습을 어떻게 균형 잡아 의미 있는 보상 신호를 유지할 수 있는가?
• RQ4 지난 학습 기반 해싱가 암호화 학습에서 차원 축소를 하면서도 분류 정보를 효과적으로 유지할 수 있는가?
• RQ5 해싱와 분류를 위한 통합 훈련 절차가 별도의 사전 훈련보다 더 나은 정책 일반화를 이끌어낼 수 있는가?

주요 결과

• HashReward는 Atari 게임에서 GAIL, VAIL, GAIL-UH보다 뚜렷이 뛰어나 더 높은 최종 수익을 기록하고 수렴 속도도 빠르다.
• HashReward의 가짜 보상 곡선은 진짜 보상과 매우 유사하게 나타나 안정적이고 의미 있는 보상 신호를 제공함을 시사하며, GAIL-UH와 VAIL는 보상 신호가 열악하거나 편향됨을 보였다.
• t-SNE 시각화 결과, HashReward 임베딩은 시간이 지남에 따라 전문가 샘플과 정책 샘플 간의 겹침이 증가하는 전역 클러스터링을 형성함을 확인하여 정책 암호화 학습이 향상됨을 입증한다.
• 64비트 임베딩 분석 결과, 훈련이 진행됨에 따라 정책이 생성한 코드가 전문가 코드와 점점 유사해지는 것을 확인하여 HashReward가 의미 있는 의미론적 구조를 가진 임베딩 공간을 학습함을 검증한다.
• HashReward의 판별자는 과도한 분류를 피하며, GAIL과 GAIL-AE가 분류에 과도하게 치우침을 보이는 것과 달리 분류와 보상 생성 간의 균형을 유지한다.
• 실험 결과, 비지도 해싱(GAIL-UH 등)는 분류 정보를 효과적으로 유지하지 못해 비효율적인 보상 신호와 열악한 정책 성능을 초래함을 확인했다.