[논문 리뷰] Efficient and Near-Optimal Online Portfolio Selection

Rémi Jézéquel, Dmitrii M. Ostrovskii외 1명|arXiv (Cornell University)|2022. 09. 28.

Advanced Bandit Algorithms Research인용 수 1

한 줄 요약

이 논문은 유니버설 포트폴리오의 near-optimal regret—커버의 유니버설 포트폴리오에 비해 일정 요인 이내—를 달성하면서도 라운드당 런타임을 ˜O(d⁴(T + d)¹⁴)에서 ˜O(d²(T + d))로 감소시키는 새로운 온라인 포트폴리오 선택 알고리즘을 제안한다. 이 방법은 누적 손실의 헤시안을 기반으로 한 하이브리드 로그-부피 장벽을 사용하여 정규화된 로그 손실을 최소화하며, 온라인 포트폴리오 선택을 내부점수 및 커팅 평면 방법과 연결한다.

ABSTRACT

In the problem of online portfolio selection as formulated by Cover (1991), the trader repeatedly distributes her capital over $ d $ assets in each of $ T > 1 $ rounds, with the goal of maximizing the total return. Cover proposed an algorithm, termed Universal Portfolios, that performs nearly as well as the best (in hindsight) static assignment of a portfolio, with an $ O(d\log(T)) $ regret in terms of the logarithmic return. Without imposing any restrictions on the market this guarantee is known to be worst-case optimal, and no other algorithm attaining it has been discovered so far. Unfortunately, Cover's algorithm crucially relies on computing certain $ d $-dimensional integral which must be approximated in any implementation; this results in a prohibitive $ ilde O(d^4(T+d)^{14}) $ per-round runtime for the fastest known implementation due to Kalai and Vempala (2002). We propose an algorithm for online portfolio selection that admits essentially the same regret guarantee as Universal Portfolios -- up to a constant factor and replacement of $ \log(T) $ with $ \log(T+d) $ -- yet has a drastically reduced runtime of $ ilde O(d^2(T+d)) $ per round. The selected portfolio minimizes the current logarithmic loss regularized by the log-determinant of its Hessian -- equivalently, the hybrid logarithmic-volumetric barrier of the polytope specified by the asset return vectors. As such, our work reveals surprising connections of online portfolio selection with two classical topics in optimization theory: cutting-plane and interior-point algorithms.

연구 동기 및 목표

• 유니버설 포트폴리오의 이론적 최적치에 가까운 리그레트를 달성하는 효율적인 온라인 포트폴리오 선택 알고리즘을 개발하기 위해.
• 차원 d에 따라 비례적으로 악화되는 기존의 유니버설 포트폴리오 구현의 금방이 되는 런타임을 줄이기 위해.
• 온라인 포트폴리오 선택과 내부점수 및 커팅 평면 방법과 같은 고전적 최적화 기법 간의 연결 고리를 설정하기 위해.
• 지역적으로 개선된 계산 효율성과 함께 애핀 불변 리그레트 경계를 달성하기 위해.

제안 방법

• 알고리즘은 누적 로그 손실을 정규화하는 데에 손실 함수의 헤시안의 로그 행렬식을 사용하며, 이는 하이브리드 로그-부피 장벽과 동치이다.
• 최적화의 안정성과 수렴 속도 향상을 위해 헤시안 행렬식의 역수에 기반한 시간에 따라 변하는 정규화자를 사용한다.
• 자기-일관성과 딕린 타원체 기하학을 활용하여, 헤시안 근사가 모든 라운드 동안 정확하게 유지되도록 보장한다.
• 누적 손실의 국소 곡률에 적응하는 퀘이지-뉴턴 업데이트 전략을 사용하여 애핀 불변성을 유지한다.
• 시간에 따라 변하는 정규화자를 사용하는 FTRL(Follow-the-Regularized-Leader)에서 유도된 알고리즘이며, 더 날카운 리그레트 경계를 가능하게 한다.
• 전체 d차원 적분이 유니버설 포트폴리오에 의해 요구되는 것을 피하기 위해 효율적인 헤시안 근사 및 장벽 최소화를 통해 런타임을 감소시킨다.

실험 결과

연구 질문

• RQ1 고차원 적분을 계산하지 않으면서도 유니버설 포트폴리오 수준의 리그레트를 달성할 수 있는가?
• RQ2 유니버설 포트폴리오 스타일 알고리즘의 라운드당 런타임을 ˜O(d⁴(T + d)¹⁴)에서 더 스케일러블한 ˜O(d²(T + d))로 줄일 수 있는가?
• RQ3 헤시안의 로그 행렬식은 안정적이고 효율적인 온라인 포트폴리오 알고리즘을 구성하는 데 어떤 역할을 하는가?
• RQ4 내부점수 방법과 같은 고전적 최적화 기법을 온라인 포트폴리오 선택에 어떻게 적응시킬 수 있는가?
• RQ5 계산 효율성을 크게 향상시키면서도 애핀 불변 리그레트 경계를 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 상수 요인 내에서 O(d log(T + d))의 리그레트 경계를 달성하며, 이는 유니버설 포트폴리오의 이론적 보장과 일치한다.
• 라운드당 런타임은 ˜O(d²(T + d))로 감소하여 이전의 ˜O(d⁴(T + d)¹⁴) 구현 대비 현저한 향상이 이루어졌다.
• 이 방법은 누적 손실의 헤시안에 기반한 하이브리드 로그-부피 장벽을 사용하며, 포트폴리오 선택과 내부점수 최적화를 연결한다.
• 헤시안 근사가 딕린 타원체 내에서 정확하게 유지되도록 보장하여 기하학적 안정성을 유지함으로써 애핀 불변성을 유지한다.
• 시간에 따라 변하는 로그-바리어 정규화자를 사용하는 FTRL을 통해 리그레트 경계가 유도되었으며, 바리어 매개변수의 감쇠율이 최적의 정적 포트폴리오를 추적하도록 조정되었다.
• 분석 결과, 리그레트 경계의 음성 항은 시간에 따라 변하는 정규화로 인해 발생하는 브레그만 발산의 차이에서 기인하며, 이는 탐색-이용 균형을 제어하는 데 기여한다.