[논문 리뷰] Online Learning of Combinatorial Objects via Extended Formulation

Holakou Rahmanian, David P. Helmbold외 1명|arXiv (Cornell University)|2016. 09. 17.

Machine Learning and Algorithms참고 문헌 24인용 수 3

한 줄 요약

이 논문은 순열과 허프만 트리와 같은 조합적 객체를 효율적으로 학습하기 위해 확장 형식을 활용하는 새로운 온라인 학습 알고리즘인 XF-Hedge를 소개한다. 다항수준의 면을 가진 고차원 공간에서 복잡한 페취토프를 표현함으로써 XF-Hedge는 효율적인 브레그만 투영을 가능하게 하고, 순열에 대해 최신 기술 대비 $\mathcal{O}(\sqrt{\log n})$ 요소 내의 손실 한계를 달성하며, 허프만 트리에 대해서는 다양한 손실 제도에서 기존의 결과를 따라하거나 향상시킨다.

ABSTRACT

The standard techniques for online learning of combinatorial objects perform multiplicative updates followed by projections into the convex hull of all the objects. However, this methodology can be expensive if the convex hull contains many facets. For example, the convex hull of $n$-symbol Huffman trees is known to have exponentially many facets (Maurras et al., 2010). We get around this difficulty by exploiting extended formulations (Kaibel, 2011), which encode the polytope of combinatorial objects in a higher dimensional "extended" space with only polynomially many facets. We develop a general framework for converting extended formulations into efficient online algorithms with good relative loss bounds. We present applications of our framework to online learning of Huffman trees and permutations. The regret bounds of the resulting algorithms are within a factor of $O(\sqrt{\log(n)})$ of the state-of-the-art specialized algorithms for permutations, and depending on the loss regimes, improve on or match the state-of-the-art for Huffman trees. Our method is general and can be applied to other combinatorial objects.

연구 동기 및 목표

• 조합적 객체의 볼록 Hull이 지수적으로 많은 면을 가진 경우, 표준 온라인 학습 방법의 계산 비효율성을 해결하기 위해.
• 조합적 페취토프의 확장 형식을 기반으로 하여, 증명 가능하고 보장된 손실 한계를 가진 효율적인 온라인 학습 알고리즘으로의 일반적 프레임워크를 개발하기 위해.
• 다항수준의 면을 가진 더 높은 차원의 표현을 활용하여, 구성 요소 허지 스타일 알고리즘을 복잡한 조합적 클래스에 적용할 수 있도록 하기 위해.
• 순열과 허프만 트리에 대해 전문화된 알고리즘과 경쟁 가능한 손실 한계를 달성하면서도 계산 효율성을 유지하기 위해.
• 볼록 Hull이 직접 투영하기에 비현실적인 조합적 객체들에 대해서도 온라인 학습의 적용 가능성을 넓히기 위해.

제안 방법

• 확장 형식을 사용하여 문제 크기의 다항식 수준의 면을 가진 고차원 공간에서 조합적 객체의 페취토프를 표현한다.
• 모든 객체를 명시적으로 나열하지 않고도, 조합적 객체의 분포를 유지하기 위해 고차원 공간에서 반복적인 브레그만 투영을 적용한다.
• 암시적 표현의 매개변수에 대해 곱셈적 업데이트를 수행한 후, 브레그만 발산을 통해 확장 형식 내에서 타당성을 확보하는 투영을 수행한다.
• 확장 형식이 보조 변수와 슬랙 변수를 도입하더라도, 원래의 조합적 객체에 정의된 손실 함수를 지원한다.
• 투영 절차의 조기 종료로 인해 발생하는 근사 오차를 고려한 손실 분석을 수행하며, 추가 손실을 상한선으로 제한한다.
• 컴ponent 허지의 일반화이자 전문가 학습의 도구(예: 밴딧 피드백에 적응 가능, 이동하는 비교자 경계 등)를 그대로 계승한다.

실험 결과

연구 질문

• RQ1 볼록 Hull이 지수적으로 많은 면을 가진 조합적 객체에 대해, 확장 형식을 사용하여 효율적인 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 원래의 조합적 공간이 아닌 고차원 확장 공간에서 투영을 수행할 경우, 온라인 학습의 손실 한계는 어떻게 분석할 수 있는가?
• RQ3 다양한 손실 제도에서 XF-Hedge와 최신 기술 전용 알고리즘 간의 성능 격차는 어떠한가?
• RQ4 확장 형식의 부족 변수를 어떻게 활용하여 더 복잡하거나 구조화된 손실 함수를 표현할 수 있는가?
• RQ5 어떤 종류의 조합적 객체들이 자연스러운 온라인 손실과 온라인 학습에 적합한 압축된 확장 형식을 동시에 가질 수 있는가?

주요 결과

• 순열의 경우, XF-Hedge는 최신 기술인 OnlineRank 알고리즘에 비해 $\mathcal{O}(\sqrt{\log n})$ 요소 내의 손실 한계를 달성한다.
• 허프만 트리에 대해 단위 큐브 손실 벡터에서, XF-Hedge는 FPL 및 일반 허지 알고리즘의 손실 한계를 따라하거나 향상시키며, $\mathcal{O}(n(\log n)^{1/2}\sqrt{L^*} + n^2\log n)$의 한계를 확보한다.
• 허프만 트리에 대해 단위 단체 손실 제도에서, 각 시도의 손실이 $\mathcal{O}(n)$ 수준일 경우, XF-Hedge의 손실은 FPL 및 일반 허지 알고리즘과 동일하며, 모두 $\mathcal{O}(n(\log n)^{1/2}\sqrt{L^*} + n^2\log n)$의 손실 한계를 달성한다.
• 기본 허지 알고리즘에서 발생하는 손실 범위 요소를 줄이기 위해, 지수적으로 많은 객체에 대한 명시적 가중치 추적을 피함으로써 성능을 향상시킨다.
• 분석 결과, 반복적인 브레그만 투영이 조기 종료될 경우에도 추가 손실이 유한하게 제한됨을 보여주며, 이는 효율적인 구현을 가능하게 한다.
• 이 프레임워크는 일반적이며, 경로, $k$-집합, 그리고 서브모듈라 구조와 같은 다른 조합적 객체들에 대해서도 적합한 확장 형식이 존재하는 경우 적용 가능하다.