[논문 리뷰] Constructions in combinatorics via neural networks

Adam Zsolt Wagner|arXiv (Cornell University)|2021. 04. 29.

Advanced Graph Theory Research참고 문헌 48인용 수 15

한 줄 요약

이 논문은 강화학습, 특히 딥 크로스 엔트로피 방법을 사용하여 사전 문제 지식 없이 극적 조합론 및 그래프 이론에서 명시적 반례와 새로운 구성법을 발견할 수 있음을 보여준다. 자기 대결 및 반복적 개선을 통해 문제에 특화된 점수 함수를 최적화하기 위해 신경망을 훈련시킴으로써, 패턴을 피하는 행렬의 행렬식과 그래프의 고유값 성질에 관한 여러 미해결 추측을 반증한다.

ABSTRACT

We demonstrate how by using a reinforcement learning algorithm, the deep cross-entropy method, one can find explicit constructions and counterexamples to several open conjectures in extremal combinatorics and graph theory. Amongst the conjectures we refute are a question of Brualdi and Cao about maximizing permanents of pattern avoiding matrices, and several problems related to the adjacency and distance eigenvalues of graphs.

연구 동기 및 목표

• 강화학습이 조합론 및 그래프 이론의 열린 추측에 대해 사전 지식 없이 명시적 반례를 자동으로 발견할 수 있는지 탐색한다.
• 딥 크로스 엔트로피 방법을 극적 조합론 문제에 적용하여, 기초 수학적 구조에 대한 사전 지식 없이 문제를 해결한다.
• 신경망이 비정상적인 조합적 대상을 찾는 데 있어 전통적 프로그래밍이나 수작업 구성법을 능가할 수 있음을 보여준다.
• 학습된 구성법을 통해 그래프 스펙트럼, 행렬 행렬식, 집합계에 관한 특정 추측을 반증한다.
• 동일한 강화학습 프레임워크가 보상 함수만 변경하여 다양한 수학 문제에 적용 가능함을 보여준다.

제안 방법

• 딥 크로스 엔트로피 방법은 조합적 대상(예: 그래프, 행렬)을 단계적으로 생성하는 데 사용되는 강화학습 알고리즘으로, 신경망을 훈련시킨다.
• 각 구성은 문제에 특화된 점수 함수를 통해 평가되며, 완전한 구성 이후에만 희박한 피드백이 제공되어 '지연 보상'을 가진 '게임'과 유사하게 동작한다.
• 에이전트는 인구집단에서 점수가 가장 높은 구성들을 선택하고 크로스 엔트로피 최적화를 통해 네트워크 가중치를 업데이트함으로써 정책을 반복적으로 개선한다.
• 작은 행동 공간을 가진 문제들, 예를 들어 간선 단위로 그래프를 구성하거나 이진 행렬의 원소를 선택하는 데에 이 방법을 적용한다.
• 일부 문제에서는 선형 프로그래밍 솔버를 강화학습과 결합하여 결과를 검증하거나 확장하며, 특히 선형 프로그래밍으로 표현 가능한 문제에 대해 유용하다.
• 프레임워크는 모듈러하다: 다른 추측을 타겟으로 하기 위해 오직 보상 함수만 재정의하면 되며, 이는 광범위한 적용 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 사전 문제 지식 없이 강화학습이 극적 조합론의 열린 추측에 대해 명시적 반례를 발견할 수 있는가?
• RQ2 딥 크로스 엔트로피 방법은 행동 공간이 크고 보상이 희박한 조합 문제를 효율적으로 최적화할 수 있는가?
• RQ3 손으로 찾기 어려운 비정상적인 구성법이 그래프 이론과 행렬 조합론에 존재하는가, 그리고 강화학습을 통해 발견 가능한가?
• RQ4 강화학습 기반 방법이 그래프 이론에서 고유값, 행렬식, 집합계에 관한 추측을 반증할 수 있는가?
• RQ5 약한 교차교차집합 집합계의 최대 크기는 얼마이며, 강화학습이 그 점근적 행동을 규명하는 데 도움이 될 수 있는가?

주요 결과

• 논문은 브랄디와 조우의 312-패턴을 피하는 이진 행렬의 최대 행렬식에 관한 추측을 반증하며, n ≤ 8에 대해 최적 값이 1, 2, 4, 8, 16, 32, 64, 120임을 보여준다.
• 그래프의 최대 고유값과 매칭 수의 합에 관한 추측에 대해 반례를 발견하여, 예측된 경계를 초과하는 구성법을 제시한다.
• 아우치치와 한센의 거리 스펙트럼과 거리의 중심성에 관한 추측을 반증하며, 제안된 부등식을 위반하는 구성법을 제공한다.
• 호벤과 레인하트의 열린 질문을 해결하며, 전송 정규성은 거리 라플라시안 동스펙트럴성 하에서 보존되지 않음을 보여준다.
• 하이퍼큐브의 부분집합을 초평면으로 덮는 데 관한 추측에 대해 반례를 구성하며, {0,1}^6에서 2차원 부분공간을 제거한 경우에도 네 개의 초평면으로 덮을 수 있음을 보여, 기대와는 반대로 행동한다.
• 크기 146인 (4,4)-집합계를 발견하여 2×(8 선택 4) = 140을 초과함으로써, g(a,b) < 2×(a+b 선택 b)라는 추측을 반증한다.