[논문 리뷰] Injecting Prior Knowledge for Transfer Learning into Reinforcement Learning Algorithms using Logic Tensor Networks

Samy Badreddine, Michael Spranger|arXiv (Cornell University)|2019. 06. 15.

Reinforcement Learning in Robotics참고 문헌 15인용 수 8

한 줄 요약

이 논문은 딥 뉴럴 네트워크에 기반한 일阶 논리 사전 지식을 딥 강화 학습(DRL) 에이전트에 통합하여 더 빠르고 일반화 능력이 뛰어난 학습을 가능하게 한다. 원시 이미지 입력과 상징적 사실(예: 물체 유형, 의미 역할)을 동시에 처리함으로써 에이전트는 사전 지식을 동적으로 활용하게 되어 시나리오 변화에 따른 재학습 필요성을 크게 줄이고, 특히 물체 의미에 관한 유도된 사실을 포함한 사전 지식이 있을 경우 일반화 능력이 향상된다.

ABSTRACT

Human ability at solving complex tasks is helped by priors on object and event semantics of their environment. This paper investigates the use of similar prior knowledge for transfer learning in Reinforcement Learning agents. In particular, the paper proposes to use a first-order-logic language grounded in deep neural networks to represent facts about objects and their semantics in the real world. Facts are provided as background knowledge a priori to learning a policy for how to act in the world. The priors are injected with the conventional input in a single agent architecture. As proof-of-concept, the paper tests the system in simple experiments that show the importance of symbolic abstraction and flexible fact derivation. The paper shows that the proposed system can learn to take advantage of both the symbolic layer and the image layer in a single decision selection module.

연구 동기 및 목표

• 인간이 제공한 상징적 사전 지식을 통합함으로써 딥 강화 학습의 샘플 효율성과 전이 학습 능력을 향상시키는 것.
• 딥 뉴럴 네트워크에 일阶 논리 사실을 지능적으로 통합함으로써 정책의 일반화 능력이 작업 및 환경 변화에 어떻게 향상되는지 조사하는 것.
• 시각 인식과 함께 상징적 추상화와 민감한 사실 유도를 하나의 의사결정 모듈에서 동시에 학습할 수 있음을 보여주는 것.
• 특히 유도된 사실이 포함된 사전 지식이 변화하는 환경에서 탐색과 학습 안정성에 미치는 영향을 평가하는 것.
• 지식 통합 강화 학습 시스템에서 탐색 초기화 하이퍼파라미터(예: ε)의 역할을 탐색하는 것.

제안 방법

• 논리 텐서 네트워크(LTN)를 사용하여 일阶 논리 사실(예: 'x는 적이다', 'y는 열쇠이다')를 딥 뉴럴 네트워크에 지능적으로 통합한다.
• 상징적 사전 지식을 DRL 에이전트의 입력 스트림에 직접 통합하여 픽셀과 상징적 사실에서 동시에 학습할 수 있도록 한다.
• 기울기 전파가 가능한 논리 프레임워크를 활용해 상징 지식이 정책 학습에 영향을 주는 종단 간 학습을 가능하게 한다.
• 환경 내 물체 색상과 의미 역할이 변화하는 격자 세계 환경에서 DQN 기반 에이전트를 적용하여 전이 가능성 테스트를 수행한다.
• 물체 유형 사전 지식과 의미 사실 사전 지식(예: '적은 피해야 한다')을 모두 사용하여 지식 활용 능력을 평가한다.
• ε-탐색 재설정 여부에 따라 에이전트를 학습시켜 탐색 전략이 지식 전이에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 신경망에 지능적으로 통합된 상징적 사전 지식이 DRL에서 샘플 효율성과 전이 학습 능력을 향상시킬 수 있는가?
• RQ2 유도된 의미 사실(예: '적은 피해야 한다')이 포함될 경우 환경 변화에 따른 일반화 능력은 어떻게 영향을 받는가?
• RQ3 단일 모듈 내에서 상징적 입력과 인지적 입력을 통합함으로써 에이전트가 사전 지식을 선택적으로 활용하도록 학습할 수 있는가?
• RQ4 탐색 전략(예: ε-재설정)의 선택이 지식 통합 시스템의 전이 학습에 어떻게 영향을 미치는가?
• RQ5 작업 의미가 변화할 경우, 에이전트가 원시 픽셀 패턴 대신 상징적 추상화에 의존하도록 학습할 수 있는가?

주요 결과

• 특히 의미 사실을 포함한 상징적 사전 지식의 통합은 시나리오 변화 시 성능 저하를 줄여 전이 능력 향상을 시사한다.
• 물체 유형과 사실 기반 사전 지식을 모두 갖춘 에이전트는 물체 색상 변화가 있더라도 더 빠르게 학습하고 환경 이동 시 높은 성능을 유지한다.
• 각 시나리오 변화 시 성능 저하가 점차 감소하여, 에이전트가 상징적 지식을 활용해 일반화 능력을 향상시켰음을 보여준다.
• ε를 재설정하는 것은 지식 통합 에이전트의 성능을 떨어뜨렸으며, 이는 지식 전이 능력을 습득한 후에도 탐색 전략을 유지해야 한다는 것을 시사한다.
• 물체 유형 사전 지식만으로는 물체 의미가 변화할 경우(예: 원형이 한 시나리오에선 적이고 다른 시나리오에선 수집 가능한 물체임) 부족했지만, 사실 기반 사전 지식은 유연한 적응을 가능하게 했다.
• 시스템은 동적 지식 선택 능력을 보였으며, 유용할 경우 상징적 사실을 활용하고, 상징적 신호가 모호하거나 오류일 경우 원시 시각 정보에 의존하도록 학습했다.