[논문 리뷰] TTOpt: A Maximum Volume Quantized Tensor Train-based Optimization and its Application to Reinforcement Learning

Konstantin Sozykin, Andrei Chertkov외 4명|arXiv (Cornell University)|2022. 04. 30.

Tensor decomposition and applications인용 수 9

한 줄 요약

TTOpt는 양자화된 텐서 트리( TT ) 형식과 최대 부피 원리를 사용하여 기울기 없는 최적화 방법을 제안하며, 고차원 이산 매개변수 공간을 효율적으로 탐색한다. 기존 방법들과 비교해 함수 평가 횟수와 실행 시간을 크게 줄이며 강화학습에서 최신 기술 수준의 성능을 달성한다. 또한 저전력 장치에 적합한 직접적인 양자화된 신경망 훈련을 가능하게 한다.

ABSTRACT

We present a novel procedure for optimization based on the combination of efficient quantized tensor train representation and a generalized maximum matrix volume principle. We demonstrate the applicability of the new Tensor Train Optimizer (TTOpt) method for various tasks, ranging from minimization of multidimensional functions to reinforcement learning. Our algorithm compares favorably to popular evolutionary-based methods and outperforms them by the number of function evaluations or execution time, often by a significant margin.

연구 동기 및 목표

• 강화학습과 하이퍼파라미터 튜닝에서 흔히 발생하는 비가환성, 비미분 가능성, 고차원 문제에 적합한 기울기 없는 최적화 방법을 개발하기 위해.
• 텐서 트리(TT)의 저랭크 구조를 활용하여 이산 다변수 함수를 효율적으로 표현하고 최적화하기 위해.
• 저전력 장치에 배포 가능한 양자화된(이산적) 신경망 가중치를 직접 최적화할 수 있도록 하기 위해.
• 기존 기울기 없는 방법들(예: 진화 전략)과 비교해 함수 평가 횟수와 훈련 속도 측면에서 승리하기 위해.

제안 방법

• 이 방법은 이산 다변수 함수의 최적화 문제를 텐서 네트워크 문제로 재구성하며, 목적 함수를 TT 형식의 d차원 텐서로 표현한다.
• 일반화된 최대 행렬 부피 원리를 적용하여 반복적으로 가장 정보가 많은 텐서 요소(함수 평가)를 선택하여 저랭크 TT 근사치를 구축한다.
• 부피 최대화 기반으로 전략적으로 선택된 매개변수 위치에서 함수 값을 적응적으로 샘플링하며, 전역 최대값이 존재할 가능성이 높은 영역에 집중한다.
• 작은 이산 매개변수 격자(N=3)부터 큰 격자(N=256)까지 지원하여 연속 최적화를 근사하는 데 있어 세밀한 이산화를 가능하게 한다.
• 공개 소프트웨어 프레임워크에 구현되어 재현 가능성이 보장되며, 강화학습 파ip라인에 쉽게 통합할 수 있다.
• 제약 조건 처리를 위해 누적 분포 함수(CDF) 또는 균일 분포를 통한 투영과 2차 형식의 페널티 함수를 적용하여 최적화 중 매개변수의 범위를 유지한다.

실험 결과

연구 질문

• RQ1 텐서 트리 기반 최적화 방법은 고차원 이산 최적화 문제에서 기존의 표준 기울기 없는 방법보다 수렴 속도와 함수 평가 효율성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 최대 부피 원리는 이산 매개변수 공간에서 고보상 영역을 식별하는 데 샘플링 과정을 얼마나 잘 이끌 수 있는가?
• RQ3 TTOpt를 통해 훈련된 양자화된 신경망 정책은 연속 제어 과제에서 정밀도가 높은 정책과 비슷한 성능을 달성할 수 있는가?
• RQ4 TT 기반 접근법은 정확도와 효율성을 유지하면서 대규모 이산 격자에 효과적으로 스케일링될 수 있는가?
• RQ5 TTOpt는 정밀 조정 없이도 직접적으로 양자화된 정책을 훈련시켜 저전력 추론 하드웨어에 배포할 수 있는가?

주요 결과

• TTOpt는 모든 테스트된 강화학습 환경에서 기존의 진화 전략(ES) 및 다른 기울기 없는 기준 방법보다 함수 평가 횟수와 실행 시간 측면에서 뛰어난 성능을 보였다.
• N=3(이산 가중치)인 Ant-v3 환경에서 TTOpt는 최종 누적 보상 5039.90 ± 57.00을 달성했으며, 원래 ARS 기준선인 4972.48 ± 21.58를 초월했다.
• HalfCheetah-v3 환경에서는 TTOpt가 6840.39 ± 87.41을 기록했고, 원래 ARS의 6527.89 ± 82.70보다 높은 성능을 보였다. 이는 일관된 향상이다.
• 낮은 TT 랭크(R=3)에서도 높은 성능을 달성하여, 낮은 랭크 근사치에 대해 매우 뛰어난 샘플 효율성과 강건성을 보였다.
• TTOpt를 통한 정밀 조정은 Hopper-v3와 Walker2d-v3를 포함한 모든 환경에서 성능 향상을 이끌었으며, 여러 경우에서 통계적으로 유의미한 개선을 보였다.
• 3개 또는 256개의 이산 가중치 값만을 사용하는 양자화된 정책을 성공적으로 훈련시켜 성능 저하 없이 저전력 추론에 적합한 가능성을 입증했다.