[논문 리뷰] Transform2Act: Learning a Transform-and-Control Policy for Efficient Agent Design

Ye Yuan, Yuda Song외 3명|arXiv (Cornell University)|2021. 10. 07.

Reinforcement Learning in Robotics참고 문헌 30인용 수 5

한 줄 요약

Transform2Act는 그래프 신경망(GNNs)과 공동 전문화형 다층 퍼셉트론(JSMLPs)을 사용하여 변환-제어 정책을 학습함으로써 기계적 에이전트 설계와 제어를 함께 최적화하는 유연한, 정책 기반의 기울기 기반 방법을 제안한다. 이 방법은 다양한 설계 공간 간의 경험 공유와 샘플 효율적인 최적화를 가능하게 하여, 기린, 문어, 거미와 같은 생물학적으로 타당한 에이전트를 발견하며, 수렴 속도와 최종 성능에서 이전의 진화 전략보다 한 단계 높은 성능을 달성한다.

ABSTRACT

An agent's functionality is largely determined by its design, i.e., skeletal structure and joint attributes (e.g., length, size, strength). However, finding the optimal agent design for a given function is extremely challenging since the problem is inherently combinatorial and the design space is prohibitively large. Additionally, it can be costly to evaluate each candidate design which requires solving for its optimal controller. To tackle these problems, our key idea is to incorporate the design procedure of an agent into its decision-making process. Specifically, we learn a conditional policy that, in an episode, first applies a sequence of transform actions to modify an agent's skeletal structure and joint attributes, and then applies control actions under the new design. To handle a variable number of joints across designs, we use a graph-based policy where each graph node represents a joint and uses message passing with its neighbors to output joint-specific actions. Using policy gradient methods, our approach enables joint optimization of agent design and control as well as experience sharing across different designs, which improves sample efficiency substantially. Experiments show that our approach, Transform2Act, outperforms prior methods significantly in terms of convergence speed and final performance. Notably, Transform2Act can automatically discover plausible designs similar to giraffes, squids, and spiders. Code and videos are available at https://sites.google.com/view/transform2act.

연구 동기 및 목표

• 기계적 시뮬레이션에서 조합적이고 고차원적인 에이전트 설계 공간 문제를 해결하기 위해.
• 설계 간 경험을 공유하지 않는 진화 전략(ES)의 샘플 비효율성 문제를 해결하기 위해.
• 골격 구조와 관절 속성(예: 길이, 강도 등)의 공동 최적화와 제어 정책 학습을 가능하게 하기 위해.
• 다양한 관절 수를 가진 설계에 대응할 수 있는 일반화 가능하고 조건부 정책을 개발하기 위해.
• 종료 훈련을 통해 생물학적으로 타당한 에이전트 형태(예: 기린형, 문어형 등)를 발견하기 위해.

제안 방법

• 에이전트 설계 문제를 조건부 정책 학습 문제로 재구성하며, 각 에피소드를 변환 단계와 실행 단계로 나눈다.
• 에이전트를 그래프 신경망(GNN)으로 표현하며, 각 노드는 관절에 대응하고 메시지 전달을 통해 관절별로 특화된 행동 출력을 생성한다.
• GNN 기반 일반화를 유지하면서도 각 관절에 특화된 전략을 가능하게 하기 위해 공동 전문화형 다층 퍼셉트론(JSMLPs)을 도입한다.
• 정책 기반 방법을 활용해 변환 및 제어 행동을 함께 최적화함으로써 다양한 설계 간 경험 공유를 가능하게 한다.
• 현재 설계 상태에 조건부로 정책을 설정함으로써 변환 단계에서 뼈대 구조와 관절 속성을 동적으로 수정할 수 있도록 한다.
• 재현 버퍼를 활용한 비순차적 학습을 통해 샘플 효율성과 설계 간 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 무작위 돌연변이 기반의 진화 전략보다 단일 정책이 종합 설계-제어를 더 효율적으로 학습할 수 있는가?
• RQ2 GNN과 JSMLPs는 에이전트 설계에서 일반화와 특화에 얼마나 기여하는가?
• RQ3 사전 편향 없이도 생물학적으로 타당한 에이전트 형태(예: 기린형, 거미형 등)를 발견할 수 있는가?
• RQ4 설계 간 경험 공유가 인구 기반의 진화 전략에 비해 샘플 효율성을 얼마나 향상시키는가?
• RQ5 설계와 제어의 공동 최적화가 분리된 접근법에 비해 수렴 속도와 최종 성능을 빠르게 향상시키는가?

주요 결과

• Transform2Act는 네 가지 환경에서 NGE와 같은 기존의 진화 전략 기반 기준선에 비해 수렴 속도와 최종 성능 모두 한 단계 높은 성능을 보였다.
• 이 방법은 2D 이동에서 빠르고 안정적인 기린형 에이전트와 터널을 통해 추진하는 문어형 수영 에이전트와 같은 생물학적으로 타당한 설계를 발견하였다.
• 절단 실험 결과, GNN이나 JSMLPs를 제거할 경우 성능과 안정성이 심각하게 저하되며, 특히 JSMLPs가 설계의 대칭성을 감소시키고 성능 변동성을 개선함을 확인하였다.
• JSMLPs 없이 생성된 설계는 과도하게 대칭적이며 관절별 특화가 부족하여, 특히 수영 및 3D 이동 환경에서 성능이 열 劣하다.
• GNN의 사용 덕분에 다양한 관절 구성 간 효과적인 경험 공유가 가능해져 일반화 능력과 샘플 효율성이 향상되었다.
• 연속적 설계 최적화 환경에서도 Transform2Act는 Ha(2019)의 연속적 튜닝 기반 기준선을 초월하여 전문가가 설계한 에이전트를 정교화하는 데서도 그 효과를 입증하였다.