[논문 리뷰] Efficient Online Portfolio with Logarithmic Regret

Haipeng Luo, Chen-Yu Wei외 1명|arXiv (Cornell University)|2018. 05. 18.

Advanced Bandit Algorithms Research인용 수 10

한 줄 요약

이 논문은 새로운 정규화 요소를 사용한 온라인 미러 디센트(Online Mirror Descent)를 기반으로 하여, 각 라운드당 $Ø(TN^{2.5})$ 시간 내에 효율적으로 구현 가능한, $Ø(N^2( ext{ln} T)^4)$의 로그적 리그레트를 갖는 새로운 온라인 포트폴리오 알고리즘을 제안한다. 커버의 유니버설 포트폴리오와 달리, 이 알고리즘은 로그-볼록 샘플링을 피하고, 무한대가 되지 않는 요소를 포함하지 않으며, 증명 가능한 다항식 이하의 리그레트를 달성함으로써, 온라인 포트폴리오 관리에 더 빠르고 실용적인 대안을 제공한다.

ABSTRACT

We study the decades-old problem of online portfolio management and propose the first algorithm with logarithmic regret that is not based on Cover's Universal Portfolio algorithm and admits much faster implementation. Specifically Universal Portfolio enjoys optimal regret $\mathcal{O}(N\ln T)$ for $N$ financial instruments over $T$ rounds, but requires log-concave sampling and has a large polynomial running time. Our algorithm, on the other hand, ensures a slightly larger but still logarithmic regret of $\mathcal{O}(N^2(\ln T)^4)$, and is based on the well-studied Online Mirror Descent framework with a novel regularizer that can be implemented via standard optimization methods in time $\mathcal{O}(TN^{2.5})$ per round. The regret of all other existing works is either polynomial in $T$ or has a potentially unbounded factor such as the inverse of the smallest price relative.

연구 동기 및 목표

• 효율적인 계산을 통해 낮은 리그레트를 달성하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• 커버의 유니버설 포트폴리오에서 발생하는 로그-볼록 샘플링의 계산적 병목 현상에서 벗어나, 증명 가능한 로그적 리그레트를 갖는 알고리즘을 개발하기 위해.
• 작은 가격 변동이 존재하는 상황에서도 리그레트가 시간에 따라 느리게 증가하고 유한하게 유지되도록 보장하기 위해.
• 각 라운드당 시간 T에 대해 다항식에서 근접선형 시간으로 실행 시간을 줄여 실용적 구현을 가능하게 하기 위해.

제안 방법

• 포트폴리오 업데이트를 제어하기 위해 새로 설계된 정규화 요소를 사용한 온라인 미러 디센트 프레임워크에 기반한 알고리즘.
• 정규화 요소는 표준 최적화 기법에 적합하도록 구성되어 있어 효율적인 계산을 가능하게 한다.
• 이 방법은 리그레트가 $Ø(N^2(\text{ln} T)^4)$로 스케일링되며, 이는 T에 대해 로그적이고 N에 대해 다항식임을 보장한다.
• 이전의 최적 리그레트 방법에서 주요 병목 현상이었던 로그-볼록 샘플링에 의존하지 않는다.
• 각 라운드당 $Ø(TN^{2.5})$ 시간 내에 업데이트 규칙이 계산되며, 이는 이전의 최적 리그레트 알고리즘보다 크게 빠르다.
• 최소 자산 가격이 매우 작을 경우에도 리그레트가 유한하게 유지되며, 리그레트 상한에 무한대가 되는 요소가 포함되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 로그-볼록 샘플링에 의존하지 않고도 온라인 포트폴리오 알고리즘이 로그적 리그레트를 달성할 수 있는가?
• RQ2 라운드당 근접선형 시간 내에 실행되는, 하위다항식 리그레트를 갖는 실용적인 알고리즘을 설계할 수 있는가?
• RQ3 리그레트 상한이 최소 자산 가격의 역수에 독립적으로 만들 수 있는가?
• RQ4 온라인 미러 디센트에서 새로운 정규화 요소가 리그레트와 계산 효율성 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 $Ø(N^2(\text{ln} T)^4)$의 리그레트 상한을 달성하며, 이는 T에 대해 로그적이고 따라서 하위다항식임을 의미한다.
• 이 알고리즘은 커버의 유니버설 포트폴리오에서 발생하는 주요 계산적 병목 현상인 로그-볼록 샘플링이 필요로 하지 않는다.
• 각 라운드당 실행 시간은 $Ø(TN^{2.5})$로, 이는 이전의 최적 리그레트 알고리즘보다 크게 빠르며, 다항식 시간 복잡도를 갖는다.
• 최소 자산 가격이 0에 수렴할 경우에도 리그레트 상한이 유한하게 유지되어, 다른 방법에서 나타나는 무한대가 되는 요소가 제거된다.
• 이 방법은 커버의 알고리즘 프레임워크에 의존하지 않고 온라인 미러 디센트를 통해 로그적 리그레트를 달성한 최초의 방법이다.