[논문 리뷰] The Mondrian Kernel

Matej Balog, Balaji Lakshminarayanan외 3명|arXiv (Cornell University)|2016. 06. 16.

Topological and Geometric Data Analysis참고 문헌 12인용 수 8

한 줄 요약

모나드린 커널은 라플라스 커널에 대한 빠르고 효율적인 랜덤 특징 근사이며, 커널 폭 전역에서 재사용 가능한 온라인 특징 구축을 가능하게 하는 몬드리안 과정을 활용한다. 몬드리안 과정을 통해 랜덤 분할을 샘플링함으로써, 커널 폭 선택을 신속하게 수행할 수 있으며, 랜덤 푸리에 및 바이닝 특징에 비해 더 적은 수의 특징으로도 뛰어난 성능을 달성한다. 이는 커널 방법과 랜덤 포레스트 간의 새로운 연결고리를 드러낸다.

ABSTRACT

We introduce the Mondrian kernel, a fast $ extit{random feature}$ approximation to the Laplace kernel. It is suitable for both batch and online learning, and admits a fast kernel-width-selection procedure as the random features can be re-used efficiently for all kernel widths. The features are constructed by sampling trees via a Mondrian process [Roy and Teh, 2009], and we highlight the connection to Mondrian forests [Lakshminarayanan et al., 2014], where trees are also sampled via a Mondrian process, but fit independently. This link provides a new insight into the relationship between kernel methods and random forests.

연구 동기 및 목표

• 커널 방법에서 커널 폭 선택의 계산 비효율성을 해결하되, 일반적으로 각 폭에 대해 재학습이 필요하다.
• 재학습 없이 다양한 커널 폭에 걸쳐 특징을 재사용할 수 있는 라플라스 커널에 대한 랜덤 특징 근사를 개발한다.
• 몬드리안 과정을 통해 커널 방법과 랜덤 포레스트 간의 이론적 및 실용적 연결고리를 구축한다.
• 라플라스 커널 기반 모델에 대한 온라인 학습 및 효율적 하이퍼파rameter 튜닝을 가능하게 한다.
• 특히 대규모 또는 스트리밍 환경에서 비용이 많이 드는 정확한 라플라스 커널 계산의 확장 가능한 대안을 제공한다.

제안 방법

• 경쟁적인 지수 시계를 통해 축에 수직인 계층적 분할을 생성하는 몬드리안 과정을 사용해 랜덤 특징을 구성한다.
• 데이터 포인트가 속한 몬드리안 분할 박스에 따라 지표 벡터로 매핑함으로써 희박한 특징 표현을 형성한다.
• 몬드리안 과정의 프로젝티비티 성질을 활용해 동일한 랜덤 특징을 모든 커널 폭에 재사용함으로써 재학습을 방지한다.
• 몬드리안 과정의 수명 파라미터 λ를 라플라스 커널의 길이 척도(역폭)의 대체 측정치로 사용한다.
• 검증 오차를 최적화하여 수명 파라미터 λ를 조정함으로써 빠르고 반복적인 하이퍼파rameter 튜닝을 수행한다.
• 몬드리안 커널과 몬드리안 포레스트를 비교하여, 매개변수 피팅 방식(통합 대 독립)과 성능 트레이드오프의 차이를 강조한다.

실험 결과

연구 질문

• RQ1 몬드리안 과정을 사용해 커널 폭에 대한 효율적 선택이 가능한 라플라스 커널에 대한 랜덤 특징 근사를 구성할 수 있는가?
• RQ2 라플라스 커널 근사 정확도와 계산 효율성 측면에서 몬드리안 커널은 랜덤 푸리에 특징 및 랜덤 바이닝과 비교해 어떻게 성능을 내는가?
• RQ3 몬드리안 커널과 몬드리안 포레스트 간의 이론적·실용적 관계는 무엇이며, 커널에서의 통합 매개변수 피팅은 모델의 압축성 향상에 어떻게 기여하는가?
• RQ4 몬드리안 커널은 적응형 커널 폭 선택이 가능한 빠른 온라인 학습을 가능하게 하는가?
• RQ5 기타 랜덤 특징 방법에 비해 더 적은 비영 특징 수로 더 우수한 일반화 성능을 달성하는가?

주요 결과

• CPU 데이터셋에서 각 데이터 포인트당 15개 이하의 비영 특징을 사용할 경우, 몬드리안 커널은 랜덤 푸리에 및 바이닝 특징보다 낮은 테스트 세트 오차를 기록한다.
• 작은 특징 수에서 몬드리안 커널의 최대 절대 커널 근사 오차는 바이닝 특징과 유사하며, 푸리에 특징보다는 현저히 낮다.
• 검증 오차를 기반으로 몬드리안 커널은 진짜 커널 수명 파라미터 λ₀ = 10을 약 한 계급 내에서 복원하며, 오차를 최소화하는 ˆλ ≈ 19를 도출한다.
• 검증 오차 대 계산 시간 그래프를 통해 몬드리안 커널은 랜덤 푸리에 특징 및 바이닝 특징보다 적어도 한 계급 이상 더 신속하게 적절한 커널 폭를 발견한다.
• 몬드리안 포레스트보다 낮은 수명 값에서 더 낮은 테스트 오차를 기록함으로써, 통합 매개변수 피팅 덕분에 더 압축적이고 효율적인 모델임을 입증한다.
• 몬드리안 커널이 학습한 가중치 분포는 몬드리안 포레스트보다 영점 주위로 더 뾰족하게 분포해, 작은 가중치의 집합을 통해 극단적인 예측이 가능하다.