[논문 리뷰] Optimal Collusion-Free Teaching

David Kirkpatrick, Hans Ulrich Simon외 1명|arXiv (Cornell University)|2019. 03. 10.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 골드먼과 매티어스의 기준에 따라 협력이 없는 teaching 모델로서 최소한의 teaching dimension을 갖는 새로운 협력 없는 teaching 모델인 no-clash teaching를 제안한다. 이 모델이 Goldman과 Mathias의 기준 하에서 모든 협력 없는 모델 중 teaching dimension이 최소가 되며, 이는 제약 조건이 있는 이분 그래프에서의 매칭과 샘플 압축과의 연결 고리를 설정한다.

ABSTRACT

Formal models of learning from teachers need to respect certain criteria to avoid collusion. The most commonly accepted notion of collusion-freeness was proposed by Goldman and Mathias (1996), and various teaching models obeying their criterion have been studied. For each model $M$ and each concept class $\mathcal{C}$, a parameter $M$-$\mathrm{TD}(\mathcal{C})$ refers to the teaching dimension of concept class $\mathcal{C}$ in model $M$---defined to be the number of examples required for teaching a concept, in the worst case over all concepts in $\mathcal{C}$. This paper introduces a new model of teaching, called no-clash teaching, together with the corresponding parameter $\mathrm{NCTD}(\mathcal{C})$. No-clash teaching is provably optimal in the strong sense that, given any concept class $\mathcal{C}$ and any model $M$ obeying Goldman and Mathias's collusion-freeness criterion, one obtains $\mathrm{NCTD}(\mathcal{C})\le M$-$\mathrm{TD}(\mathcal{C})$. We also study a corresponding notion $\mathrm{NCTD}^+$ for the case of learning from positive data only, establish useful bounds on $\mathrm{NCTD}$ and $\mathrm{NCTD}^+$, and discuss relations of these parameters to the VC-dimension and to sample compression. In addition to formulating an optimal model of collusion-free teaching, our main results are on the computational complexity of deciding whether $\mathrm{NCTD}^+(\mathcal{C})=k$ (or $\mathrm{NCTD}(\mathcal{C})=k$) for given $\mathcal{C}$ and $k$. We show some such decision problems to be equivalent to the existence question for certain constrained matchings in bipartite graphs. Our NP-hardness results for the latter are of independent interest in the study of constrained graph matchings.

연구 동기 및 목표

• 골드먼과 매티어스의 협력 금지 기준 하에서 달성 가능한 최소 teaching 복잡도를 규명하는 것.
• 이 최소 복잡도를 증명적으로 달성하는 새로운 teaching 모델인 no-clash teaching을 정의하는 것.
• no-clash teaching, VC-dimension, 그리고 샘플 압축 간의 이론적 연결 고리를 설정하는 것.
• 주어진 개념 클래스 C와 정수 k에 대해 NCTD(C) = k 또는 NCTD⁺(C) = k를 결정하는 데 필요한 계산 복잡도를 분석하는 것.
• no-clash teaching와 이분 그래프에서의 제약 조건이 있는 매칭 간의 관계를 탐구하는 것

제안 방법

• 협력이 없는 teaching의 새로운 모델인 no-clash teaching을 제안하며, 이는 두 개 이상의 서로 다른 개념이 그들의 teaching set의 합집합과 일관되게 일어나지 않도록 하는 조건으로 정의된다.
• no-clash teaching dimension NCTD(C)를 이 모델 하에서 클래스 C의 어떤 개념을 가르치는 데 필요한 최소 예시 수로 정의한다.
• 개념 클래스에서 유도된 이분 그래프에서 no-clash teaching과 유일하게 제약 조건이 있는 매칭 사이에 일대일 대응을 설정한다.
• 결정 문제 NCTD(C) = k (또는 NCTD⁺(C) = k)를 이분 그래프에서 크기가 k인 제약 조건이 있는 매칭의 존재 문제로 환원한다.
• 도우 1인 정점의 반복적 제거 기반으로, 이분 그래프에서 크기가 |V₀|인 유일하게 제약 조건이 있는 매칭이 존재하는지 확인하는 선형 시간 알고리즘을 개발한다.
• 이 알고리즘을 활용해 관련 이분 그래프의 크기 선형 시간 내에 NCTD(C) ≤ k 여부를 결정할 수 있다.

실험 결과

연구 질문

• RQ1 골드먼과 매티어스의 기준 하에서 모든 협력 없는 teaching 모델 중에서 달성 가능한 teaching dimension의 최소값은 무엇인가?
• RQ2 no-clash teaching 모델은 이분 그래프에서의 제약 조건이 있는 매칭과 같은 조합 구조로 특징지어질 수 있는가?
• RQ3 결정 문제 NCTD(C) = k는 계산적으로 다룰 수 있는가? 그리고 기존의 그래프 이론 문제와 어떻게 관련이 있는가?
• RQ4 no-clash teaching dimension NCTD(C)는 C의 VC-dimension에 대해 선형으로 증가하는가, 아니면 그 함수로 유계인가?
• RQ5 no-clash teaching는 최소 샘플 압축 체계의 크기에 대한 통찰을 제공할 수 있는가?

주요 결과

• no-clash teaching는 증명적으로 최적이다: 임의의 개념 클래스 C와 임의의 협력 없는 teaching 모델 M에 대해 NCTD(C) ≤ M-TD(C)가 항상 성립한다.
• 결정 문제 NCTD(C) = k는 C로부터 유도된 이분 그래프에서 크기가 k인 유일하게 제약 조건이 있는 매칭의 존재와 동치이다.
• 크기가 k인 유일하게 제약 조건이 있는 매칭이 존재하는지 여부를 결정하는 문제는, 심지어 k가 입력에 포함된 경우에도 NP-완전하다.
• 도우 1인 정점의 반복적 제거 기반으로, 이분 그래프에서 크기가 |V₀|인 유일하게 제약 조건이 있는 매칭이 존재하는지 확인하는 선형 시간 알고리즘이 존재한다.
• 동일한 알고리즘적 접근은 양성 데이터만을 고려하는 변형 NCTD⁺(C)에도 적용 가능하며, 이는 크기가 최대 k인 양성 샘플만 포함하도록 이분 그래프를 수정함으로써 가능하다.
• 이 결과들은 no-clash teaching, 제약 조건이 있는 매칭, 그리고 샘플 압축 간의 강력한 연결 고리를 확립하며, 이는 no-clash teaching이 VC-dimension에 대한 선형 경계와 압축 체계와 관련된 열린 문제를 해결할 수 있음을 시사한다.