[논문 리뷰] Interpretable Structure-Evolving LSTM

Xiaodan Liang, Liang Lin외 4명|arXiv (Cornell University)|2017. 03. 08.

Explainable Artificial Intelligence (XAI)인용 수 14

한 줄 요약

이 논문은 훈련 중에 데이터로부터 계층적 그래프 구조를 동적으로 학습할 수 있는 구조가 진화하는 LSTM을 제안한다. 이를 통해 장거리 의존성을 더 잘 모델링할 수 있는 해석 가능한 다중 수준 표현을 가능하게 한다. LSTM 게이트 출력을 기반으로 노드를 확률적으로 병합하고, 메트로폴리스-해스팅스 알고리즘을 사용해 구조 수락 여부를 결정함으로써, 고정 구조를 가진 LSTM보다도 성능이 뛰어나며, 더 높은 안정성과 의미적 추상화 능력을 확보한 상태에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper develops a general framework for learning interpretable data representation via Long Short-Term Memory (LSTM) recurrent neural networks over hierarchal graph structures. Instead of learning LSTM models over the pre-fixed structures, we propose to further learn the intermediate interpretable multi-level graph structures in a progressive and stochastic way from data during the LSTM network optimization. We thus call this model the structure-evolving LSTM. In particular, starting with an initial element-level graph representation where each node is a small data element, the structure-evolving LSTM gradually evolves the multi-level graph representations by stochastically merging the graph nodes with high compatibilities along the stacked LSTM layers. In each LSTM layer, we estimate the compatibility of two connected nodes from their corresponding LSTM gate outputs, which is used to generate a merging probability. The candidate graph structures are accordingly generated where the nodes are grouped into cliques with their merging probabilities. We then produce the new graph structure with a Metropolis-Hasting algorithm, which alleviates the risk of getting stuck in local optimums by stochastic sampling with an acceptance probability. Once a graph structure is accepted, a higher-level graph is then constructed by taking the partitioned cliques as its nodes. During the evolving process, representation becomes more abstracted in higher-levels where redundant information is filtered out, allowing more efficient propagation of long-range data dependencies. We evaluate the effectiveness of structure-evolving LSTM in the application of semantic object parsing and demonstrate its advantage over state-of-the-art LSTM models on standard benchmarks.

연구 동기 및 목표

• 복잡한 다중 수준 데이터 상관관계를 모델링하는 데 있어 고정 구조를 가진 LSTM의 한계를 해결하기 위해.
• 계층적 그래프 구조와 LSTM 파라미터를 종합적으로 엔드 투 엔드 방식으로 동시에 학습할 수 있는 프레임워크를 개발하기 위해.
• 의미적 추상화를 여러 수준에서 포괄할 수 있도록 데이터 기반으로 해석 가능한 동적 그래프 구조 진화를 가능하게 하기 위해.
• 수락 확률를 활용한 확률적 샘플링을 통해 그래프 구조 학습에서 局부 최적화 문제를 완화하기 위해.
• 유연하고 다중 척도의 그래프 구조를 활용해 의미적 객체 분할 성능을 향상시키기 위해.

제안 방법

• 각 노드가 데이터 요소(예: 슈퍼픽셀)를 나타내는 초기 그래프에서 시작하며, 간선을 통해 연결된다.
• LSTM 게이트 출력을 사용해 연결된 노드 간의 호환성을 추정하고, 병합 확률을 결정한다.
• 전역 수락 확률에 기반해 메트로폴리스-해스팅스 알고리즘을 적용하여 새로운 그래프 구조를 확률적으로 샘플링하고 수락한다.
• 병합된 노드를 클리크로 묶어 고수준 그래프를 구성함으로써 계층적 추상화를 가능하게 한다.
• 스택된 LSTM 레이어를 통해 하향식으로 단계별로 그래프 구조를 점진적으로 진화시킨다.
• 구조 진화를 파rameter 학습과 통합하여 엔드 투 엔드 훈련 체계를 구현함으로써 그래프 구조와 LSTM 가중치를 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 순환 신경망이 훈련 중에 기반 그래프 구조를 동적으로 진화시켜 다중 수준 데이터 상관관계를 더 잘 포착할 수 있는가?
• RQ2 LSTM 프레임워크 내에서 그래프 구조 진화를 어떻게 해석 가능하고 미분 가능하게 만들 수 있는가?
• RQ3 수락 확률를 활용한 확률적 구조 진화는 결정론적 병합 방식보다 일반화 성능을 향상시키고 局부 최적화 문제를 피할 수 있는가?
• RQ4 적응형으로 학습된 그래프 구조가 고정 또는 사전 정의된 그래프 구조보다 의미적 객체 분할 성능에 얼마나 기여하는가?
• RQ5 구조가 진화하는 LSTM에서 생성된 다중 수준 그래프 표현은 순차적 및 공간적 데이터에서 장거리 의존성 모델링을 어떻게 향상시키는가?

주요 결과

• 구조가 진화하는 LSTM은 ATR 데이터셋에서 평균 IoU 98.30%를 기록하여, Graph LSTM(97.99%) 및 기타 최신 기술 수준의 모델을 능가했다.
• 메트로폴리스-해스팅스 샘플링을 사용한 확률적 정책이 결정론적 임계값(예: 0.7) 방식보다 성능이 뛰어났으며, 이는 정확도는 낮아졌음에도 불구하고 더 높은 안정성을 보였다.
• 모델은 10번의 전방향 전파 동안 성능 변동이 0.5% 미만으로 매우 적어 안정적인 구조 진화를 보였다.
• LSTM 레이어 수가 많아질수록 성능 향상이 있었으며, 이는 다중 수준 추상화가 분할 정확도를 향상시킨다는 것을 보여주었고, 이는 이전 모델들이 두 레이어를 초과하면 성능 향상이 없었던 것과 대조된다.
• 시각화 결과에서 모델은 생성된 그래프 구조를 통해 다중 척도의 맥락을 활용해 모호한 레이블(예: 스커트 vs. 드레스)에 대해 더 정확한 예측을 내놓는 것으로 나타났다.
• 학습된 그래프 구조는 사전 정의된 슈퍼픽셀 맵보다 더 의미적으로 잘 정렬되어 있었으며, 고정된 하향식 분할 방식에 비해 적응형 구조 학습의 이점을 입증했다.