[논문 리뷰] Enumerating Unique Computational Graphs via an Iterative Graph Invariant

Chris Ying|arXiv (Cornell University)|2019. 02. 17.

Advanced Graph Theory Research참고 문헌 4인용 수 7

한 줄 요약

이 논문은 색상이 부여된 방향성 비순환 그래프(DAG)에 대해 반복적으로 그래프 불변량을 계산하는 반복적 그래프 해싱 알고리즘을 제안한다. 이를 통해 동형성에 대해 고유한 계산 그래프를 효율적으로 열거할 수 있다. 정점의 이웃 구조와 색상에 기반해 반복적으로 정점 해시를 개선함으로써, 비동형 그래프를 높은 정확도로 구분할 수 있으나, 특정 대칭적 반례에서는 실패한다. 이 방법은 제약 조건이 있는 신경망 아키텍처 탐색 워크로드에서 정확한 동형성 검출을 가능하게 한다.

ABSTRACT

In this report, we describe a novel graph invariant for computational graphs (colored directed acylic graphs) and how we used it to generate all distinct computational graphs up to isomorphism for small graphs. The algorithm iteratively applies isomorphism-invariant operations, which take into account the graph structure and coloring, and outputs a fixed-length hash that is identical for all isomorphic computational graphs. While the algorithm cannot perfectly distinguish all pairs of non-isomorphic computational graphs, we suggest that it may be useful as a heuristic for comparing graphs.

연구 동기 및 목표

• 신경망 아키텍처 탐색에서 동형 계산 그래프를 효율적으로 식별하는 방법을 개발하는 것.
• 텐서에 대한 연산을 나타내는 색상이 부여된 정점이 있는 그래프에서 동형성에 대해 고유한 계산 그래프를 열거하는 문제를 다루는 것.
• 방향성 비순환 그래프에 대해 계산적으로 효율적이고 효과적인 그래프 불변량을 설계하는 것.
• 신경망 설계를 위한 제약 조건이 있는 검색 공간 내에서 비동형 그래프를 구분하는 데 있어 방법의 정확도를 검증하는 것.

제안 방법

• 알고리즘은 진입 차수, 진출 차수, 정점 색상을 사용해 정점 해시를 초기화한다.
• 각 정점의 해시를 이웃 정점의 해시를 정렬한 후 현재 해시와 결합하여 반복적으로 업데이트한다.
• 최종 그래프 해시는 정점 해시 목록을 정렬하고 해싱하여 동형성에 대해 불변성을 확보한다.
• 고정 길이 해싱을 위해 MD5를 사용하고, 이웃 해시의 사전순 정렬을 적용해 일관성을 유지한다.
• 그래프 열거는 기준 순서를 통해 수행되며, 입력 정점에서 출력 정점으로 가는 경로에 없는 그래프는 제거한다.
• 각 고유한 해시에 대해 기준 대표 그래프를 선택하여 동형성 동치류당 하나의 그래프를 보장한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색 환경에서 비동형 색상이 부여된 DAG를 효과적으로 구분할 수 있는 반복적 그래프 불변량을 설계할 수 있는가?
• RQ2 제안된 해싱 방법이 계산적으로 효율적인 동안 동형성 불변성을 얼마나 잘 유지하는가?
• RQ3 이 방법이 대칭적인 구조를 가진 비동형 그래프를 식별하는 데 있어 어떤 한계를 지닌다?
• RQ4 작은 규모의 신경망 아키텍처에 대해 이 방법은 동형성에 대해 고유한 계산 그래프를 얼마나 효과적으로 열거하는가?
• RQ5 계산량이 지수적으로 증가하지 않도록 하면서도 동형성 검출에서 오진을 제거하기 위해 이 방법을 확장할 수 있는가?

주요 결과

• 반복적 그래프 해싱 알고리즘은 진정한 그래프 불변량을 계산하여 동형 그래프는 항상 동일한 해시를 생성함을 보장한다.
• 검색 공간이 제약된 조건(최대 7개 정점, 9개 간선, 3개 색상)에서 모든 동형성 동치류를 정확히 식별함을 확인하였으며, 전수 순열 테스트를 통해 검증되었다.
• 불변성에도 불구하고, 이 알고리즘은 동형이 아닌 그래프를 구분하지 못하는 경우가 있다. 예를 들어, 동일한 차수와 색상 분포를 가진 대칭적인 이분 DAG의 경우이다.
• 10개 정점과 16개 간선을 가진 적대적 반례를 통해, 정점 분할의 차수와 색상 분포가 동일한 경우 비동형 그래프가 동일한 해시를 생성할 수 있음을 입증하였다.
• 검증 결과, 타겟 사용 케이스에서는 정확한 동형성 검출이 가능함을 입증하였으며, 중복 해시를 가진 그래프의 모든 순열을 테스트하여 검증하였다.
• 향후 개선을 위해 MD5를 문자열 연결로 대체하면 해시 충돌을 제거할 수 있으며, 이는 불변성을 유지하면서 정밀도를 높일 수 있다.