[논문 리뷰] Reachability Is NP-Complete Even for the Simplest Neural Networks

Marco Sälzer, Martin Lange|arXiv (Cornell University)|2021. 08. 30.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 15

한 줄 요약

이 논문은 ReLU 및 identity 활성화 함수를 사용하는 신경망의 도달 가능성 문제는 단일 레이어 네트워크이더라도 최소한의 아키텍처 제약 조건이 있을지라도 NP-완전임을 입증한다. 이는 이전 증명에서의 결함을 보완하기 위해 입력 값이 아닌 ReLU 노드의 활성 상태(활성/비활성)를 비결정성의 근원으로 재정의함으로써 이루어지며, 한정된 구조적 단순화—예를 들어 한 개의 은닉 레이어, 출력 차원이 1인 경우, 그리고 ±c의 가중치와 편향만을 허용하는 경우—에서도 NP-난이도가 유지됨을 보여, 문제의 비결정성은 실용적 환경에서 근본적으로 강건함을 입증한다.

ABSTRACT

We investigate the complexity of the reachability problem for (deep) neural networks: does it compute valid output given some valid input? It was recently claimed that the problem is NP-complete for general neural networks and conjunctive input/output specifications. We repair some flaws in the original upper and lower bound proofs. We then show that NP-hardness already holds for restricted classes of simple specifications and neural networks with just one layer, as well as neural networks with minimal requirements on the occurring parameters.

연구 동기 및 목표

• 이전에 제기된 신경망 도달 가능성 문제의 NP-완전성에 대한 잘못된 증명을 수정하기 위해.
• 단일 레이어, 최소한의 파라미터 세트, 작은 출력 차원을 가진 가장 단순한 신경망에서도 NP-완전성이 유지됨을 입증하기 위해.
• 도달 가능성 문제가 여전히 NP-난이도를 유지하는 최소한의 아키텍처적 및 파라미터 조건을 규명하기 위해.
• NP-난이도의 근본 원인이 입력 크기나 네트워크 깊이가 아니라 ReLU 노드의 수임을 명확히 하기 위해.
• 실용적인 신경망 구성 방식이 이미 비결정성 복잡도를 유도하므로, 효율적인 검증 알고리즘의 실현 가능성에 제한을 둔다.

제안 방법

• 입력 값이 아닌 ReLU 노드의 활성 상태(활성/비활성)를 비결정성의 근원으로 삼아 NP 소속성의 논리를 재구성한다.
• 특수 구성 요소인 노름 가젯(norm-gadgets), ORA|B-가젯(orA|B-gadgets), 그리고 EQ0-가젯(eq0-gadgets)을 사용하여 3SAT에서 신경망 도달 가능성으로의 축소를 구축한다.
• 가중치가 있는 ReLU 및 identity 노드를 사용해 부울 논리를 표현: 입력은 ±1/c 또는 ±d/c²로 스케일링되어 참/거짓을 나타내며, 출력은 절대 조건의 만족도를 표현한다.
• 보조 입력 노드를 도입하고 대칭적 제약 조건 및 편향 c를 가진 연속된 identity 노드 체인을 통해 영 가중치와 편향을 제거한다.
• 입력 제약 조건과 노드 간 연결을 신중히 구성하여 모든 가중치를 ±c로 제한하고 모든 편향을 비영으로 유지한다.
• 유효한 입력 할당 하에 절대 조건의 만족도가 네트워크 출력 값 m·d²c⁴와 정확히 일치함을 보여주는 보조정리들을 통해 정당성을 입증한다.

실험 결과

연구 질문

• RQ1 ReLU 및 identity 신경망의 도달 가능성 문제는 진정으로 NP-완전한가? 만약 그렇다면, 어떤 최소 조건에서 성립하는가?
• RQ2 한 개의 은닉 레이어와 출력 차원이 1인 네트워크에서도 NP-완전성 결과가 유지되는가?
• RQ3 모든 가중치와 편향이 {−c, c}와 같은 작은 유한 집합으로 제한될 경우에도 NP-난이도가 유지되는가?
• RQ4 도달 가능성 문제가 여전히 NP-난이도를 유지하기 위한 최소한의 구조적 또는 파라미터 복잡도는 무엇인가?
• RQ5 원래의 3SAT에서 신경망 도달 가능성으로의 축소가 잘못되었을 경우, 타당하고 완전한 구성으로 이를 수정할 수 있는가?

주요 결과

• 이전 증명에서 입력 표현 및 이산화에 대한 결함을 수정함으로써, 신경망 도달 가능성 문제의 NP-완전성이 엄격하게 재정립되었다.
• 출력 뉴런이 하나뿐인 단일 레이어 신경망에서도 NP-난이도가 유지됨을 입증하여, 깊이가 비결정성의 원인이 아님을 보였다.
• 모든 가중치와 편향이 임의의 양의 유리수 c에 대해 ±c로 제한되는 경우에도 문제의 NP-난이도가 유지되며, 영 가중치나 편향이 필요 없음을 보였다.
• NP-난이도의 핵심 매개변수는 ReLU 노드의 수이며, ReLU 노드 수가 유한한 경우 다항 시간 내에 결정 가능하다.
• 구성은 만족하는 3SAT 할당과 유효한 네트워크 출력 사이에 일대일 대응을 보장하여, 이전에 signum과 같은 비일치한 활성화 함수로 인한 문제를 해결했다.
• 결과적으로, 다항 시간 내에 도달 가능성을 결정할 수 있는 비자명하고 실용적인 신경망 클래스를 찾는 것은 거의 불가능하다는 점을 시사한다.