[논문 리뷰] It's Not What Machines Can Learn, It's What We Cannot Teach

Gal Yehuda, Moshe Gabel외 1명|arXiv (Cornell University)|2020. 02. 21.

Machine Learning and Algorithms참고 문헌 42인용 수 8

한 줄 요약

이 논문은 NP-난이도 문제에 대한 다항시간 데이터 생성기를 사용할 경우, 항상 편향되고 더 쉬운 하위 문제(NP ∩ coNP 내부)를 생성하게 되며, 이는 깊은 신경망을 대표적이고 균일하게 샘플링된 데이터로 훈련시키는 데 어려움을 초래함을 보여준다. 일반적으로 받아들여지는 가정인 NP ≠ coNP 하에 이러한 생성기는 전체 NP-난이도 문제 공간에서 샘플링할 수 없으며, 이는 Conjunctive Query Containment과 같은 작업에서 모델 성능을 과대평가하게 된다.

ABSTRACT

Can deep neural networks learn to solve any task, and in particular problems of high complexity? This question attracts a lot of interest, with recent works tackling computationally hard tasks such as the traveling salesman problem and satisfiability. In this work we offer a different perspective on this question. Given the common assumption that $ extit{NP} eq extit{coNP}$ we prove that any polynomial-time sample generator for an $ extit{NP}$-hard problem samples, in fact, from an easier sub-problem. We empirically explore a case study, Conjunctive Query Containment, and show how common data generation techniques generate biased datasets that lead practitioners to over-estimate model accuracy. Our results suggest that machine learning approaches that require training on a dense uniform sampling from the target distribution cannot be used to solve computationally hard problems, the reason being the difficulty of generating sufficiently large and unbiased training sets.

연구 동기 및 목표

• 다항시간 데이터 생성기가 NP-난이도 문제에 대해 깊은 신경망을 훈련시키는 데 있어 근본적인 한계를 조사하는 것.
• NP ≠ coNP 가정 하에, 어떤 효율적인 데이터 생성기라도 반드시 NP ∩ coNP 내부의 더 쉬운 하위 문제에서 샘플링한다는 것을 보여주는 것.
• 편향된 데이터 생성 방식이 Conjunctive Query Containment과 같은 NP-난이도 작업에서 모델 정확도를 어떻게 과대평가하는지 실증적으로 보여주는 것.
• NP-난이도 문제에서 큰, 균일하게 샘플링된 데이터셋이 감독형 깊은 학습에 가능하다는 가정을 도전하는 것.
• 계산적으로 어려운 문제를 위한 합성 데이터 생성에 의존하는 머신러닝 접근법에 대한 영향을 탐색하는 것.

제안 방법

• NP ≠ coNP라는 복잡도 이론적 가정에 기반한 이론적 분석.
• NP-난이도 결정 문제에 대해 다항시간 샘플링 절차가 반드시 NP ∩ coNP 하위 문제에서 샘플링한다는 증명.
• 데이터 증강을 활용해 대규모 훈련 세트를 생성한 Conjunctive Query Containment(CQC)에 대한 실증 사례 연구.
• 증강된 CQC 데이터셋으로 신경망을 훈련시켜 더 어려운 인스턴스로의 일반화 능력을 평가하는 것.
• 특성 점검을 통한 데이터셋 편향 분석으로, 분류가 문제의 복잡성보다는 표면적인 패턴(예: 길이 또는 구조)에 기반한다는 것을 보여주는 것.
• 생성된 데이터와 전체 문제 공간에서의 모델 성능 비교를 통해 하위 문제에 대한 과적합을 드러내는 것.

실험 결과

연구 질문

• RQ1 다항시간 데이터 생성기는 전체 NP-난이도 문제 공간에서 균일하게 대표적인 샘플을 생성할 수 있는가?
• RQ2 어떤 복잡도 이론적 가정 하에 다항시간 데이터 생성기가 전체 NP-난이도 문제에서 샘플링하지 못하게 되는가?
• RQ3 NP-난이도 문제에 대한 일반적인 데이터 생성 기법이 얼마나 편향된 데이터셋을 만들어내며, 이는 단순하고 표면적인 특징을 선호하게 하는가?
• RQ4 효율적인 샘플링에서 비롯된 데이터셋 편향이 NP-난이도 작업에서의 깊은 신경망 모델의 일반화 능력과 인식된 정확도에 어떤 영향을 미치는가?
• RQ5 이러한 발견은 계산적으로 어려운 문제를 해결하기 위해 감독형 학습을 사용하는 데 어떤 영향을 미치는가?

주요 결과

• NP ≠ coNP 가정 하에, NP-난이도 문제에 대한 어떤 다항시간 생성기라도 반드시 NP ∩ coNP 내부의 하위 문제에서 샘플링하게 되며, 이는 원래의 NP-난이도 문제보다 엄격히 더 쉬운 문제임을 의미한다.
• 논문은 어떤 다항시간 생성기라도 표면적인 특징(예: 길이 또는 구조)을 이용해 쉽게 분류 가능한 인스턴스만 생성하는 NP-난이도 언어를 구성한다.
• Conjunctive Query Containment에 대한 실증 결과는, 증강된 다항시간 생성 데이터로 훈련된 모델이 훈련 분포에서는 높은 정확도를 달성하지만 더 어려운, 더 복잡한 인스턴스로의 일반화에 실패한다는 것을 보여준다.
• 이 연구는 데이터 증강 및 시드 기반 샘플링과 같은 데이터 생성 기법이 목표 문제 공간의 전체 복잡성을 반영하지 못하는 편향된 데이터셋을 생성한다는 것을 드러낸다.
• 결과적으로, NP-난이도 문제에 대해 감독형 깊은 학습을 합성 데이터로 사용할 경우 근본적인 한계가 존재하며, 이는 훈련 데이터 분포가 본질적으로 대표성이 없기 때문이다.
• 이러한 발견은 효율적인 데이터 생성에서 유래하는 샘플링 편향을 극복하기 위해 결정적 해법기나 증명 가능한 근사 알고리즘을 통합한 하이브리드 모델이 필요할 수 있음을 시사한다.