[논문 리뷰] Understanding Boolean Function Learnability on Deep Neural Networks.

Anderson Rocha Tavares, Pedro H. C. Avelar외 4명|arXiv (Cornell University)|2020. 09. 13.

Machine Learning and Algorithms참고 문헌 50인용 수 4

한 줄 요약

이 논문은 조합 최적화 문제, 모델 샘플링 벤치마크, 그리고 무작위 3-CNF 공식에서 유도된 부울 함수를 딥 네ural 네트워크가 어떻게 학습하는지 조사한다. 작은 얕은 네트워크가 이러한 함수를 효과적으로 근사함을 발견하였으며, 과잉 제약된 것보다 부족 제약된 3-CNF가 더 학습하기 어려운 것으로 나타났고, 더 작은 공식은 더 적은 양의 양성 예시로 인해 더 큰 도전 과제를 안고 있다.

ABSTRACT

Computational learning theory states that many classes of boolean formulas are learnable in polynomial time. This paper addresses the understudied subject of how, in practice, such formulas can be learned by deep neural networks. Specifically, we analyse boolean formulas associated with the decision version of combinatorial optimisation problems, model sampling benchmarks, and random 3-CNFs with varying degrees of constrainedness. Our extensive experiments indicate that: (i) regardless of the combinatorial optimisation problem, relatively small and shallow neural networks are very good approximators of the associated formulas; (ii) smaller formulas seem harder to learn, possibly due to the fewer positive (satisfying) examples available; and (iii) interestingly, underconstrained 3-CNF formulas are more challenging to learn than overconstrained ones. Source code and relevant datasets are publicly available (this https URL).

연구 동기 및 목표

• 딥 네럴 네트워크를 사용하여 조합 최적화 문제에서 유도된 부울 함수의 실용적 학습 가능성에 대해 조사한다.
• 공식 크기와 제약 정도가 신경망 학습 성능에 미치는 영향을 분석한다.
• 실제 및 합성 벤치마크에서 유도된 부울 공식을 근사하는 데 있어 작은 얕은 네트워크의 효율성을 평가한다.
• 특히 더 작은 또는 부족 제약된 3-CNF 공식이 왜 더 학습하기 어려운지 이해한다.

제안 방법

• 결정 문제의 변형에서 유도된 레이블이 부여된 부울 공식 인스턴스에 대해 작은 얕은 전방향 신경망을 훈련한다.
• 다양한 제약 정도를 가진 모델 샘플링 벤치마크와 무작위 3-CNF 공식의 데이터셋을 사용한다.
• 만족 가능한 할당과 불만족 가능한 할당의 테스트 세트에서 표준 분류 지표를 사용해 일반화 성능을 평가한다.
• 학습 정확도와 수렴에 영향을 미치는 공식 크기와 제약 정도를 체계적으로 변화시켜 평가한다.
• 실험 전반에 걸쳐 고정된 네트워크 아키텍처를 사용하여 입력 공식 특성의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 작고 얕은 신경망은 조합 최적화 문제에서 유도된 부울 함수를 효과적으로 근사할 수 있는가?
• RQ2 부울 공식의 크기가 딥 네럴 네트워크에 의한 학습 가능성에 어떤 영향을 미치는가?
• RQ3 무작위 3-CNF 공식의 제약 정도가 관련된 부울 함수 학습의 어려움에 영향을 미치는가?
• RQ4 왜 부족 제약된 3-CNF 공식은 과잉 제약된 것보다 더 학습하기 어려운가?

주요 결과

• 작고 얕은 신경망은 조합 최적화 문제에서 유도된 부울 공식에 대해 뛰어난 근사 성능를 보인다.
• 더 작은 부울 공식은 훈련 데이터에 포함된 양성(만족 가능한) 예시가 적기 때문에 더 학습하기 어려운 경향이 있다.
• 직관적인 기대와는 반대로, 부족 제약된 3-CNF 공식은 과잉 제약된 것보다 더 학습하기 어려운 경향이 있다.
• 신경망의 일반화 성능는 훈련 데이터 내에서 만족 가능한 할당의 분포에 의해 크게 영향을 받는다.