[논문 리뷰] Generalization Tower Network: A Novel Deep Neural Network Architecture for Multi-Task Learning

Yuhang Song, Main Xu외 2명|arXiv (Cornell University)|2017. 10. 27.

Reinforcement Learning in Robotics참고 문헌 21인용 수 3

한 줄 요약

이 논문은 다중 작업 강화 학습(MT-RL)을 위한 새로운 딥 뉴럴 네트워크 아키텍처인 일반화 타워 네트워크(GTN)를 제안한다. 이는 공유된 특징 추출을 위한 수평 스트림과 작업 간 계층적 공유 지식을 모델링하기 위한 수직 스트림을 통합한다. GTN은 51개의 Atari 게임에서 최신 기술(SOTA) 성능을 달성하며, 특히 슈팅 및 어드벤처 게임과 같은 고복잡도 작업 카테고리에서 MT-A3C 대비 최대 23% 향상된 최종 점수를 기록한다.

ABSTRACT

Deep learning (DL) advances state-of-the-art reinforcement learning (RL), by incorporating deep neural networks in learning representations from the input to RL. However, the conventional deep neural network architecture is limited in learning representations for multi-task RL (MT-RL), as multiple tasks can refer to different kinds of representations. In this paper, we thus propose a novel deep neural network architecture, namely generalization tower network (GTN), which can achieve MT-RL within a single learned model. Specifically, the architecture of GTN is composed of both horizontal and vertical streams. In our GTN architecture, horizontal streams are used to learn representation shared in similar tasks. In contrast, the vertical streams are introduced to be more suitable for handling diverse tasks, which encodes hierarchical shared knowledge of these tasks. The effectiveness of the introduced vertical stream is validated by experimental results. Experimental results further verify that our GTN architecture is able to advance the state-of-the-art MT-RL, via being tested on 51 Atari games.

연구 동기 및 목표

• 다중 작업 강화 학습(MT-RL)에서 작업들이 서로 다른 종류의 공유 표현을 요구할 수 있는 기존 딥 뉴럴 네트워크의 표현 학습 한계를 해결한다.
• 기존 MT-RL 접근 방식(예: 점진적 네트워크)에서 다수의 사전 훈련된 모델을 저장하고 수작업으로 선택해야 하는 필요성을 제거한다.
• 작업 간 계층적 공유 지식을 인코딩함으로써 단일 통합 모델이 여러 작업을 동시에 습득할 수 있도록 한다.
• 다양한 추상 수준에서 작업별 지식와 공유 지식을 모두 포착하는 수직 스트림 아키텍처를 도입함으로써 MT-RL의 다중 작업 일반화 성능을 향상시킨다.

제안 방법

• 이중 스트림 아키텍처 설계: 수평 스트림은 컨볼루션 및 LSTM 레이어를 사용해 고차원 입력을 처리하고 다중 수준의 표현을 추출한다.
• 작업 간 계층적으로 공유되는 레이어를 갖는 수직 스트림 도입으로, 수평 스트림 간의 계층적 공유 지식을 학습할 수 있도록 한다.
• 수직 스트림을 구성함에 있어, 낮은 수준은 공통 지식(예: 슈팅 게임에서 '지속적으로 쏴라')을 인코딩하고, 더 깊은 수준은 더 구체적인 지식(예: '유효한 대상에 정확히 조준하고 쏴라')을 인코딩하도록 한다.
• 수직 스트림 레이어 간 공유 가중치를 적용하여 지식 전이를 강제함으로써, 이종적 이점 액터-크리틱(A3C) 프레임워크를 사용해 GTN 모델을 엔드 투 엔드로 훈련한다.
• 다양한 점수 척도를 가진 작업 간 공정한 비교를 확보하기 위해 훈련 중 단계 보상 값을 게임별로 정규화한다.
• 다중 작업 일반화 능력을 측정하기 위해 상대적 최종 점수(RFS)를 사용하여 성능을 평가한다. RFS는 다중 작업 에이전트 점수를 단일 작업 에이전트 점수로 나눈 비율로 정의된다.

실험 결과

연구 질문

• RQ1 계층적 공유 지식을 모델링함으로써 단일 딥 뉴럴 네트워크 아키텍처가 다양한 강화 학습 작업 간에 효과적으로 일반화할 수 있는가?
• RQ2 계층적 지식 인코딩을 위한 수직 스트림의 포함 여부가 표준 수평 스트림 전용 아키텍처 대비 다중 작업 일반화 성능에 어떤 영향을 미치는가?
• RQ3 큰 규모의 작업 세트에서 기존 MT-RL 기준선(예: MT-A3C) 대비 GTN 아키텍처가 성능 및 확장성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 특히 Atari 플랫폼에서 슈팅 또는 어드벤처 게임처럼 유사한 작업 수가 많은 상황에서 GTN 아키텍처는 특별한 이점을 보이는가?

주요 결과

• M=4개의 수직 스트림 레벨과 N=4개의 수평 레이어를 사용할 경우, GTN 아키텍처는 모든 슈팅 게임에서 평균 65%의 상대적 최종 점수(RFS)를 기록하며 기준 방법을 크게 능가한다.
• 수직 스트림은 다중 작업 일반화에 크게 기여하며, N=4일 때 M=1에서 M=4로 증가함에 따라 RFS가 52%에서 65%로 향상되지만, 수평 레이어의 영향은 다중 작업 성능에 미미한 영향을 미친다.
• 슈팅 게임 카테고리에서 GTN은 MT-A3C 대비 최대 23% 향상된 성능을 기록하며, 모든 6개의 Atari 게임 카테고리에서 일관된 성과 향상을 보였다.
• 수평 스트림은 단일 작업 학습에 가장 효과적이며, N=4와 M=2일 때 104%의 RFS를 기록하여 각 작업별 특징 추출 능력이 뛰어나다는 것을 보여준다.
• GTN과 MT-A3C 간의 성능 격차는 슈팅 및 어드벤처 게임과 같이 고복잡도, 고작업 수 카테고리에서 가장 두드러지게 나타나, GTN의 확장성과 일반화 능력이 뛰어나다는 것을 입증한다.
• 작업 레이블이나 수작업 모델 선택 없이도 다양한 작업 간에 잘 일반화되며, 단일 통합 아키텍처 내에서 엔드 투 엔드 다중 작업 학습을 가능하게 한다.