[논문 리뷰] Sequence stacking using dual encoder Seq2Seq recurrent networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|2017. 10. 31.

Machine Learning in Bioinformatics참고 문헌 5인용 수 2

한 줄 요약

이 논문은 두 개의 별도의 순환 인코더에서 유도된 문맥 벡터를 활용하여 대규모 그래프에서 최단 경로 탐지 성능을 향상시키는 이중 인코더 Seq2Seq 순환 네트워크를 제안한다. 이는 정확도를 크게 향상시키며, 디코더의 손실 함수에 호모토피 연속 기법을 도입하여 성능을 추가로 향상시켜, NP-난이도 그래프 문제에서 뛰어난 경로 탐색 성능을 달성한다.

ABSTRACT

A widely studied non-polynomial (NP) hard problem lies in finding a route between the two nodes of a graph. Often meta-heuristics algorithms such as $A^{*}$ are employed on graphs with a large number of nodes. Here, we propose a deep recurrent neural network architecture based on the Sequence-2-Sequence model, widely used, for instance in text translation. Particularly, we illustrate that utilising a context vector that has been learned from two different recurrent networks enables increased accuracies in learning the shortest route of a graph. Additionally, we show that one can boost the performance of the Seq2Seq network by smoothing the loss function using a homotopy continuation of the decoder's loss function.

연구 동기 및 목표

• 기본 알고리즘인 A*와 같은 전통적 알고리즘이 계산적으로 비효율적이게 되는 대규모 그래프에서 최단 경로를 찾는 NP-난이도 문제를 해결하기 위해.
• 이중 인코더 Seq2Seq 아키텍처가 단일 인코더 변형보다 그래프의 구조적 정보를 더 잘 포착할 수 있는지 탐색하기 위해.
• 호모토피 연속 기법을 사용해 디코더의 손실 함수를 부드럽게 함으로써 학습 안정성과 성능을 향상시키기 위해.
• 다양한 그래프 구조와 노드 수에 걸쳐 일반화 능력을 얼마나 잘 발휘하는지 평가하기 위해.

제안 방법

• 원천 및 대상 노드를 별도로 처리하는 두 개의 순환 네트워크를 갖춘 이중 인코더 아키텍처를 사용하여, 서로 다른 문맥적 표현을 학습한다.
• 두 인코더의 최종 은닉 상태를 통합하여 디코더용 통합 문맥 벡터로 조합한다.
• 경로를 구성하는 노드 시퀀스를 생성하기 위해 표준 어텐션 기반 디코더를 사용한다.
• 손실 함수를 부드러운 근사치에서 진짜 손실로 점진적으로 전이하는 호모토피 연속 기법을 적용하여 최적화를 향상시킨다.
• 마스크된 교차 엔트로피 손실을 사용하여 시퀀스 간 학습을 통해 모델을 종합적으로 학습시킨다.
• 경로 정확도 및 경로 길이 편차 지표를 사용하여 합성 및 벤치마크 그래프에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 그래프에서 최단 경로를 학습하는 데 있어 이중 인코더 Seq2Seq 모델이 단일 인코더 모델보다 뛰어난 성능을 내는가?
• RQ2 손실 함수의 호모토피 연속 기법이 순차 기반 경로 학습에서 수렴성과 경로 정확도에 어떤 영향을 미치는가?
• RQ3 모델이 다양한 그래프 구조와 노드 수에 걸쳐 얼마나 잘 일반화되는가?
• RQ4 두 개의 별도 순환 인코더를 사용하는 것이 원천-대상 간 의존성의 포착 능력을 향상시키는가?

주요 결과

• 이중 인코더 아키텍처는 특히 1000개 이상의 노드를 가진 그래프에서 단일 인코더 기반 모델보다 더 높은 경로 정확도를 달성했다.
• 손실 함수의 호모토피 연속 기법은 순차 생성 과정에서 수렴 속도를 높이고 학습의 불안정성을 감소시켰다.
• 모델은 격자형 및 무작위 희소 그래프를 포함한 다양한 그래프 구조에서 개선된 일반화 능력을 보였다.
• 두 인코더에서 유도된 문맥 벡터는 단일 인코더의 표현보다 더 세밀한 원천-대상 관계를 포착했다.