[논문 리뷰] New perspectives on k-support and cluster norms

Andrew M. McDonald, Massimiliano Pontil외 1명|arXiv (Cornell University)|2016. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 33

한 줄 요약

이 논문은 이차 함수의 매개변수화된 하한값으로 정의된 새로운 정규화인 박스노름을 소개한다. k-지원 노름이 이 가족의 일원임을 보이고, 박스노름은 이를 변형한 것으로 나타난다. 저자들은 제곱 박스노름의 유통성 연산자를 계산하는 데 더 효율적인 알고리즘을 개발하였으며, 행렬으로의 노름 확장을 통해 스펙트럼 k-지원 노름과 스펙트럼 박스노름을 도입하였다. 또한 스펙트럼 박스노름이 클러스터 노름과 동치임을 보이며, 중심화된 형태를 사용한 수치 실험에서 행렬 복원 및 다중작업 학습에서 최신 기술 수준의 성능을 보였다.

ABSTRACT

We study a regularizer which is defined as a parameterized in_mum of quadratics, and which we call the box-norm. We show that the k-support norm, a regularizer proposed by Argyriou et al. (2012) for sparse vector prediction problems, belongs to this family, and the box-norm can be generated as a perturbation of the former. We derive an improved algorithm to compute the proximity operator of the squared box-norm, and we provide a method to compute the norm. We extend the norms to matrices, introducing the spectral k-support norm and spectral box-norm. We note that the spectral box-norm is essentially equivalent to the cluster norm, a multitask learning regularizer introduced by Jacob et al. (2009a), and which in turn can be interpreted as a perturbation of the spectral k-support norm. Centering the norm is important for multitask learning and we also provide a method to use centered versions of the norms as regularizers. Numerical experiments indicate that the spectral k-support and box-norms and their centered variants provide state of the art performance in matrix completion and multitask learning problems respectively.

연구 동기 및 목표

• 이차 함수의 하한값을 기반으로 한 새로운 정규화 가족, 즉 박스노름을 제안하여 희소 벡터 및 행렬 학습에 활용한다.
• k-지원 노름, 박스노름, 클러스터 노름 간의 이론적 연관성을 규명하고, 박스노름이 k-지원 노름의 변형임을 보인다.
• 노름을 행렬으로 확장하여 다중작업 학습 및 행렬 복원에 적합한 스펙트럼 k-지원 노름과 스펙트럼 박스노름을 도입한다.
• 박스노름 및 그 스펙트럼 변형의 유통성 연산자와 노름 값 계산을 위한 효율적인 알고리즘을 제공한다.
• 성능 향상을 위해 노름의 중심화된 형태를 제안하고 평가한다.

제안 방법

• 박스노름은 매개변수화된 이차 함수 가중치의 하한값으로 정의되며, k-지원 노름을 일반화한다.
• 볼록 최적화 기법을 활용하여 제곱 박스노름의 유통성 연산자를 계산하는 데 더 효율적인 알고리즘을 유도한다.
• 특이값을 통한 확장으로 k-지원 노름과 박스노름을 행렬로 확장하여 스펙트럼 k-지원 노름과 스펙트럼 박스노름을 도입한다.
• 스펙트럼 박스노름이 기존의 다중작업 학습 정규화인 클러스터 노름과 수학적으로 동치임을 보였다.
• 다중작업 학습에서 일반화 성능 향상을 위해 특이값을 이동시켜 평균이 0이 되도록 하는 중심화된 노름 형태를 구성한다.
• 노름 값 계산을 효율적으로 수행할 수 있는 수치적 방법을 제공하여 대규모 학습 문제에의 실용적 적용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 k-지원 노름은 어떻게 이차 함수의 하한값으로 정의된 더 넓은 정규화 가족의 일원으로 재해석될 수 있는가?
• RQ2 박스노름과 k-지원 노름 간의 관계는 무엇이며, 박스노름은 어떻게 이에 대한 변형으로 나타나는가?
• RQ3 박스노름은 자연스럽게 행렬으로 확장될 수 있으며, 그로 인한 스펙트럼 노름은 어떤 성질을 갖는가?
• RQ4 스펙트럼 박스노름은 클러스터 노름과 동치인가? 이 동치성은 다중작업 학습에 어떤 함의를 갖는가?
• RQ5 박스노름 및 스펙트럼 박스노름의 중심화된 형태는 다중작업 학습 및 행렬 복원 과제에서 성능을 어떻게 향상시키는가?

주요 결과

• 스펙트럼 박스노름은 수학적으로 클러스터 노름과 동치이며, 이는 이전에 별개로 여겨졌던 두 정규화 간의 새로운 이론적 연결 고리를 확립한다.
• 제안된 알고리즘을 통해 제곱 박스노름의 유통성 연산자를 더 효율적으로 계산할 수 있어 계산 확장성 향상이 가능하다.
• 스펙트럼 k-지원 노름과 스펙트럼 박스노름은 행렬 복원 과제에서 기존 베이스라인보다 뛰어난 성능을 보이며 최신 기술 수준에 도달한다.
• 스펙트럼 박스노름과 k-지원 노름의 중심화된 형태는 특히 소규모 샘플 환경에서 다중작업 학습에서 성능 향상에 기여한다.
• 수치 실험을 통해 스펙트럼 박스노름과 그 중심화된 형태가 다양한 다중작업 학습 및 행렬 복원 벤치마크에서 강력한 경험적 성능을 보임을 확인하였다.