[논문 리뷰] Local Rademacher Complexity-based Learning Guarantees for Multi-Task Learning

Niloofar Yousefi, Yunwen Lei외 3명|arXiv (Cornell University)|2016. 02. 18.

Machine Learning and Algorithms참고 문헌 41인용 수 4

한 줄 요약

이 논문은 국소 라데마처 복잡도(LRC)를 사용하여 다중작업학습(MTL)에 대한 날카운 일반화 경계를 수립하며, 기존의 전역 라데마처 복잡도 분석보다 더 빠른 수렴 속도를 도출한다. 특히 노름 정규화 및 강凸성 조건을 만족하는 가설 클래스에 적용 가능한 새로운 LRC 경계를 제안함으로써, 샤텐-노름, 그룹-노름, 그래프 정규화된 MTL 방법에 대한 빠른 수렴 속도를 가지는 초과 위험 경계를 가능하게 한다.

ABSTRACT

We show a Talagrand-type concentration inequality for Multi-Task Learning (MTL), using which we establish sharp excess risk bounds for MTL in terms of distribution- and data-dependent versions of the Local Rademacher Complexity (LRC). We also give a new bound on the LRC for norm regularized as well as strongly convex hypothesis classes, which applies not only to MTL but also to the standard i.i.d. setting. Combining both results, one can now easily derive fast-rate bounds on the excess risk for many prominent MTL methods, including---as we demonstrate---Schatten-norm, group-norm, and graph-regularized MTL. The derived bounds reflect a relationship akeen to a conservation law of asymptotic convergence rates. This very relationship allows for trading off slower rates w.r.t. the number of tasks for faster rates with respect to the number of available samples per task, when compared to the rates obtained via a traditional, global Rademacher analysis.

연구 동기 및 목표

• 유전체학 및 신경과학과 같은 과학적 응용 분야에서 개별 작업 데이터가 부족한 상황에서 제한된 학습 데이터 문제를 해결한다.
• 다중작업학습(MTL)에서 전역 라데마처 복잡도(GRC) 분석이 초래하는 보수적인 수렴 속도 문제를 극복한다.
• 학습 알고리즘이 가설 공간의 제한된 부분집합 내에서 가설을 선택한다는 사실을 반영하여, 국소 라데마처 복잡도(LRC)를 활용한 더 날카운, 데이터에 의존하는 일반화 분석을 개발한다.
• 노름 정규화 및 강凸성 조건을 만족하는 가설 클래스에 적용 가능한 새로운 LRC 경계와 토탈랑드 유형의 집중 불등식을 조합하여, MTL에 대한 빠른 수렴 속도를 가지는 초과 위험 경계를 유도한다.
• 주요 MTL 방법들인 샤텐-노름, 그룹-노름, 그래프 정규화된 MTL에 대해 이론적 프레임워크를 실용적으로 적용하여 경계를 도출한다.

제안 방법

• 다중작업학습 설정에 맞게 토탈랑드 유형의 집중 불등식을 적응시켜 초과 위험을 국소 라데마처 복잡도(LRC)로 경계한다.
• 노름 정규화 또는 강凸성 정규화를 가진 가설 클래스에 대한 LRC에 대한 새로운 상한을 제안하며, 이는 MTL 및 표준 i.i.d. 학습 설정 모두에 적용 가능하다.
• 경험적 LRC를 사용하여 라데마처 변수의 기대값을 취함으로써 데이터에 의존하는 초과 위험 경계를 도출한다. 이는 더 날카운 일반화 보장을 이끈다.
• 가설 공간의 스펙트럼 성질을 분석하여, 샤텐-노름, 그룹-노름, 그래프 정규화된 MTL 등의 특정 MTL 설정에 대해 유도된 경계를 적용한다.
• 유도된 LRC 상한과 집중 불등식을 사용하여 최적의 경험적 위험 경계를 구하기 위한 고정점 방정식을 수립한다.
• 유도된 수렴 속도를 전역 라데마처 복잡도 분석 결과와 비교하여, 작업 수와 샘플 수의 수렴 속도 사이에 상충 관계가 있음을 보여준다.

실험 결과

연구 질문

• RQ1 국소 라데마처 복잡도는 전역 라데마처 복잡도에 비해 다중작업학습에 대해 더 날카운 일반화 경계를 제공할 수 있는가?
• RQ2 LRC 기반 분석 하에서, 작업 수와 샘플 수의 수렴 속도 간의 관계는 어떠한가?
• RQ3 노름 정규화 및 강凸성 가설 클래스에 대해 다중작업학습 맥락에서 국소 라데마처 복잡도를 어떻게 경계할 수 있는가?
• RQ4 유도된 경계는 샤텐-노름, 그룹-노름, 그래프 정규화된 MTL와 같은 기존의 전역 라데마처 복잡도 기반 경계보다 얼마나 향상되는가?
• RQ5 제안된 프레임워크는 작업 복잡도와 샘플 복잡도 간의 보존 유사 상충 관계를 반영하는 빠른 수렴 속도의 초과 위험 경계를 도출할 수 있는가?

주요 결과

• 기존의 전역 라데마처 복잡도 기반 경계보다 더 빠른 수렴 속도를 가지는 초과 위험 경계를 도출하였으며, 특히 샘플 수에 대한 점점 더 날카운 수렴 속도를 향상시킨다.
• 유도된 경계는 날카롭고 데이터에 의존하며, 학습 알고리즘이 실제로 선택할 가능성이 있는 가설 부분집합에 초점을 맞추어 알고리즘의 실제 성능을 반영한다.
• 노름 정규화 및 강凸성 가설 클래스에 대해 새로운 LRC 경계를 수립하였으며, 이는 MTL를 넘어 표준 i.i.d. 학습에도 일반적으로 적용 가능한 것이다.
• 샤텐-노름, 그룹-노름, 그래프 정규화된 MTL에 대해, 작업 수의 수렴 속도가 느려지더라도 샘플 수의 수렴 속도가 빨라짐으로써 상쇄될 수 있는 상충 관계를 반영하는 빠른 수렴 속도의 초과 위험 경계를 도출한다.
• 분석 결과, 작업 수와 샘플 수의 수렴 속도 사이에 보존 유사 관계가 존재하며, 한 쪽에서의 성과 향상은 다른 쪽의 손실을 상쇄할 수 있어 더 유연하고 견고한 학습 보장을 가능하게 한다.
• 유도된 경계의 고정점 해는 최적의 위험 경계에 대한 닫힌 형태의 표현식을 제공하며, 이는 효과적 차원(효과적 랭크의 합)과 가설 공간의 스펙트럼 감쇠에 명시적인 의존성을 가진다.