[논문 리뷰] Distribution-Independent Evolvability of Linear Threshold Functions

Vitaly Feldman|arXiv (Cornell University)|2011. 03. 25.

Machine Learning and Algorithms참고 문헌 26인용 수 10

한 줄 요약

이 논문은 발리언트의 모델 하에서 연결사들이 분포 독립적으로 진화 가능하지 않음을 입증하여 오랫동안 남아있던 열린 문제를 해결한다. 이는 새로운 조합적 파라미터를 도입하여 이 부정적 결과를 증명하고, 또한 비선형 손실 함수(예: 제곱 손실)를 기반으로 하는 변이 알고리즘을 사용하여 비중력이 상당한 선형 임계값 함수(LTF)가 단조적으로 진화 가능하다는 것을 추가로 보여준다. 이는 진화 과정에서 성능이 항상 향상됨을 보장한다.

ABSTRACT

Valiant's (2007) model of evolvability models the evolutionary process of acquiring useful functionality as a restricted form of learning from random examples. Linear threshold functions and their various subclasses, such as conjunctions and decision lists, play a fundamental role in learning theory and hence their evolvability has been the primary focus of research on Valiant's framework (2007). One of the main open problems regarding the model is whether conjunctions are evolvable distribution-independently (Feldman and Valiant, 2008). We show that the answer is negative. Our proof is based on a new combinatorial parameter of a concept class that lower-bounds the complexity of learning from correlations. We contrast the lower bound with a proof that linear threshold functions having a non-negligible margin on the data points are evolvable distribution-independently via a simple mutation algorithm. Our algorithm relies on a non-linear loss function being used to select the hypotheses instead of 0-1 loss in Valiant's (2007) original definition. The proof of evolvability requires that the loss function satisfies several mild conditions that are, for example, satisfied by the quadratic loss function studied in several other works (Michael, 2007; Feldman, 2009; Valiant, 2010). An important property of our evolution algorithm is monotonicity, that is the algorithm guarantees evolvability without any decreases in performance. Previously, monotone evolvability was only shown for conjunctions with quadratic loss (Feldman, 2009) or when the distribution on the domain is severely restricted (Michael, 2007; Feldman, 2009; Kanade et al., 2010)

연구 동기 및 목표

• 발리언트의 진화 가능성 프레임워크에서 연결사들이 분포 독립적으로 진화 가능한가에 대한 열린 문제를 해결하기 위해.
• 상관관계로부터의 학습 복잡도의 하한을 제공하는 새로운 조합적 파라미터를 도입하여 더 강력한 부정적 결과를 가능하게 하기 위해.
• 비중력이 상당한 선형 임계값 함수(LTF)가 비선형 손실 함수를 사용하여 단조적으로 진화 가능하다는 것을 보여주기 위해.
• 제약이 없는 분포 가정 하에 큰 마진을 가진 LTF에 대한 단조 진화 가능성의 가능성을 확립하기 위해.
• 비선형 손실 함수의 사용이 단조 성능 향상을 가능하게 하며, 이는 이전의 비단조적 또는 분포에 특화된 알고리즘과 대비됨을 보여주기 위해.

제안 방법

• 상관관계로부터의 학습 복잡도의 하한을 제공하는 새로운 조합적 파라미터를 도입하여, 연결사의 진화 불가능성을 증명하는 데 사용한다.
• 입력 특징에 대한 기대 손실 도함수를 기반으로 한 기울기 유사 단계를 사용하여 가설을 업데이트하는 변이 알고리즘을 제안한다.
• 유계 두 번째 도함수와 미분 가능성과 같은 약한 조건을 만족하는 잘 조율된 손실 함수(예: 제곱 손실)를 사용한다.
• 테일러 전개와 손실의 대칭성을 활용하여 각 변이 단계에서 손실의 기대 감소를 바ounds하여 단조적 향상을 증명한다.
• 만일 어떤 클래스가 효율적으로 큰 마진 반공간에 임bedded될 수 있다면, 그 클래스는 단조적으로 진화 가능하다는 점을 통해 임bedded 개념 클래스에 결과를 적용한다.
• 각 업데이트에서 손실 감소가 적어도 α²·B/2 이상 보장되므로 성능 향상이 보장됨을 보여준다. 여기서 α는 특징과 손실 기울기 사이의 상관관계 비례 상수이다.

실험 결과

연구 질문

• RQ1 발리언트의 진화 가능성 모델 하에서 연결사들이 분포 독립적으로 진화 가능한가?
• RQ2 비선형 손실 함수가 선형 임계값 함수에 대해 단조 진화 가능성을 가능하게 할 수 있는가?
• RQ3 진화 가능성 프레임워크에서 상관관계로부터의 학습 복잡도의 하한을 제공할 수 있는 조합적 파라미터는 무엇인가?
• RQ4 제약이 없는 데이터 분포 가정 하에 큰 마진을 가진 선형 임계값 함수에 대해 단조 진화 가능성은 달성 가능한가?
• RQ5 개념 클래스를 큰 마진 반공간에 효율적으로 임bedded할 수 있다면, 이를 단조 진화 가능성 달성에 활용할 수 있는가?

주요 결과

• 연결사들은 분포 독립적으로 진화 가능하지 않으며, 이는 진화 가능성 프레임워크에서 주요 열린 문제를 해결한다.
• 상관관계로부터의 학습 복잡도의 하한을 제공하는 새로운 조합적 파라미터가 도입되었으며, 이는 더 강력한 부정적 결과를 가능하게 한다.
• 어떤 다항식 q(·)에 대해 γ ≥ 1/q(n)의 마진을 가진 선형 임계값 함수(LTF)는 임의의 잘 조율된 손실 함수를 사용하여 단조적으로 진화 가능하다.
• 제안된 변이 알고리즘은 각 단계에서 기대 손실이 적어도 α²·B/2 이상 감소함을 보장함으로써 단조적 성능 향상을 보장한다.
• 손실 함수가 점별 또는 세대 간에 변하더라도, 손실 및 그 도함수에 대한 상한 a, A, B가 유지된다면 결과는 그대로 성립한다.
• 개념 클래스가 큰 마진 반공간에 효율적으로 임bedded될 수 있다면, 원래 클래스는 임의의 잘 조율된 손실 함수를 사용하여 단조적으로 진화 가능하다.