[논문 리뷰] Understanding Learned Reward Functions

Eric J. Michaud, Adam Gleave외 1명|arXiv (Cornell University)|2020. 12. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 4

한 줄 요약

이 논문은 강화학습에서 학습된 보상 함수를 감시하기 위해 선명도 맵과 반사적 분석을 사용하여, 이러한 보상 함수가 종종 핵심 선호도가 아닌 임의적이고 환경에 의존하는 특징에 의존한다는 점을 드러낸다. 보상 출력에 큰 변화가 있음에도 불구하고, 이러한 함수로 훈련된 정책은 여전히 잘 수행되며, 이는 현재의 해석 가능성 기법이 정책의 강건성을 예측하지 못하고 오히려 관련 없는 변화를 부각시킬 수 있음을 시사한다.

ABSTRACT

In many real-world tasks, it is not possible to procedurally specify an RL agent's reward function. In such cases, a reward function must instead be learned from interacting with and observing humans. However, current techniques for reward learning may fail to produce reward functions which accurately reflect user preferences. Absent significant advances in reward learning, it is thus important to be able to audit learned reward functions to verify whether they truly capture user preferences. In this paper, we investigate techniques for interpreting learned reward functions. In particular, we apply saliency methods to identify failure modes and predict the robustness of reward functions. We find that learned reward functions often implement surprising algorithms that rely on contingent aspects of the environment. We also discover that existing interpretability techniques often attend to irrelevant changes in reward output, suggesting that reward interpretability may need significantly different methods from policy interpretability.

연구 동기 및 목표

• 수동으로 특정 지정이 불가능한 실제 강화학습 작업에서 학습된 보상 함수가 인간의 선호도를 진정으로 반영하고 있는지 확인하는 데 도전하는 것.
• 선명도 맵과 같은 해석 가능성 기법이 보상 함수의 결함 모드, 예를 들어 비합리적인 상관관계에 의존하는지 여부를 조사하는 것.
• 기존의 해석 가능성 기법이 학습된 보상 함수에 기반한 정책의 강건성을 예측할 수 있는지 평가하는 것.
• 보상 함수의 맥락에서 현재의 해석 가능성 도구의 한계를 규명하는 것. 특히 정책의 해석 가능성과 근본적으로 다름.
• 특히 단조성 변환에 대한 불변성과 같은 보상 함수의 수학적 구조를 고려한 새로운 해석 가능성 기법을 제안하는 것.

제안 방법

• 학습된 보상 함수의 출력에 가장 영향을 주는 입력 특징을 특정하기 위해 선명도 방법을 적용하는 것.
• 특정 환경적 특징을 제거하거나 수정한 반사적 입력을 사용하여 보상 함수 출력의 변화를 테스트하는 것.
• 선명도 맵과 반사적 변화를 기준 보상 함수와 비교하여 해석 가능성의 정확도를 평가하는 것.
• TwoGoals 및 Seaquest와 같은 환경을 사용하여 보상 출력의 변화와 정책 성능의 변화 간 상관관계를 평가하는 것.
• 수정된 보상 함수에 기반한 정책의 강건성을 평가하여 선명도 방법이 정책 이식 가능성 예측에 성공하는지 확인하는 것.
• EPIC을 기준으로 학습된 보상 함수를 기준값과 비교하는 것. 다만 기준값이 없을 경우의 한계를 인정하는 것.

실험 결과

연구 질문

• RQ1 학습된 보상 함수는 핵심 인간 선호도가 아닌 비합리적이거나 환경에 의존적인 특징에 의존하는가?
• RQ2 선명도 기반 해석 가능성 기법이 보상 함수가 의존하는 특징을 신뢰성 있게 식별할 수 있는가?
• RQ3 보상 함수 출력의 변화가 그에 기반한 정책의 행동 변화를 얼마나 잘 예측하는가?
• RQ4 왜 일부 보상 출력의 큰 변화가 정책 성능에 영향을 주지 못하는가? 이는 해석 가능성에 어떤 의미를 갖는가?
• RQ5 학습된 보상 함수가 진정한 인간 선호도를 반영하고 있음을 확인하기 위해 어떤 해석 가능성 기법이 필요한가?

주요 결과

• 학습된 보상 함수는 종종 운전 작업에서 브레이크 인디케이터 상태와 같은 조건적 환경적 특징에 의존하는 직관에 어긋나는 알고리즘을 구현한다.
• 선명도 방법은 정책 행동에 영향을 주지 않는 다수의 관련 없는 출력 변화, 예를 들어 곱셈 스케일링에 자주 집중한다.
• 특정 특징 제거로 인해 보상 함수 출력이 크게 변화하더라도 정책은 여전히 높은 수익을 올릴 수 있으며, 이는 현재 해석 가능성 도구의 예측 능력이 떨어짐을 시사한다.
• 노이즈 또는 손상된 특징(예: Seaquest에서 점수 제거)에 기반한 보상 함수로도 랜덤보다 나은 정책을 훈련시킬 수 있으며, 이는 출력 편향에 대한 강건성을 시사한다.
• 해석 가능성 기법이 단조성 변환에 대해 불변성이 없기 때문에 잘못된 차이를 강조할 수 있으며, 이는 보상 함수 감시에 있어 도구의 유용성을 감소시킨다.
• 특히 양의 애파인 변환에 대한 불변성과 같은 보상 함수의 고유한 수학적 구조를 고려한 새로운 해석 가능성 기법이 절실하게 필요하다.