[논문 리뷰] LayoutGMN: Neural Graph Matching for Structural Layout Similarity

Akshay Gadi Patil, Manyi Li외 3명|arXiv (Cornell University)|2020. 12. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 4

한 줄 요약

LayoutGMN은 주어진 삼중조합 네트워크 설정에서 어텐션 기반 그래프 매칭을 통해 어 attention 기반 그래프 매칭을 통해 구조적 레이아웃 유사도를 학습하는 딥 뉴럴 네트워크이다. IoU 기반 약한 지도 학습을 통해 내재된 구조적 편향을 가진 모델을 훈련시키며, 레이아웃과 UI 디자인에서 인간의 구조적 유사성 판단과 더 잘 일치하는 검색 정확도에서 IoU 및 최신 기준 모델을 능가한다.

ABSTRACT

We present a deep neural network to predict structural similarity between 2D layouts by leveraging Graph Matching Networks (GMN). Our network, coined LayoutGMN, learns the layout metric via neural graph matching, using an attention-based GMN designed under a triplet network setting. To train our network, we utilize weak labels obtained by pixel-wise Intersection-over-Union (IoUs) to define the triplet loss. Importantly, LayoutGMN is built with a structural bias which can effectively compensate for the lack of structure awareness in IoUs. We demonstrate this on two prominent forms of layouts, viz., floorplans and UI designs, via retrieval experiments on large-scale datasets. In particular, retrieval results by our network better match human judgement of structural layout similarity compared to both IoUs and other baselines including a state-of-the-art method based on graph neural networks and image convolution. In addition, LayoutGMN is the first deep model to offer both metric learning of structural layout similarity and structural matching between layout elements.

연구 동기 및 목표

• 2D 레이아웃(예: 평면도 및 UI 디자인) 간의 구조적 유사도를 픽셀 수준의 지표를 초월해 측정하는 딥 러닝 모델을 개발하는 것.
• IoU가 구조적 대응을 포착하지 못하는 한계를 해결하기 위해 모델에 구조적 인도적 편향을 통합하는 것.
• 어텐션 기반 메커니즘을 통해 레이아웃 유사도에 대한 메트릭 학습과 요소 수준의 구조적 매칭을 동시에 가능하게 하는 것.
• 비용이 많이 드는 인간 레이블링을 피하기 위해 IoU 임계값을 활용한 약한 지도 학습을 통해 모델을 훈련시키는 것.
• 인간의 구조적 유사성 판단과 더 잘 일치하는 우수한 검색 성능을 입증하는 것.

제안 방법

• 각 레이아웃을 요소 의미, 위치를 인코딩하는 노드와 구조적 관계를 나타내는 간선을 가진 방향성 및 완전 연결 그래프로 표현한다.
• 삼중손실 프레임워크 내에서 교차 그래프 메시지 전달 및 노드 수준 매칭을 위한 어텐션 기반 그래프 매칭 네트워크(GMN)를 활용한다.
• IoU 임계값에서 유도된 약한 레이블을 사용하여 삼중손실을 적용함으로써 전이 학습이 가능하며, 전문가 레이블이 필요 없이 엔드 투 엔드 학습이 가능하다.
• 어텐션 메커니즘을 통해 그래프 임베딩 학습 중 레이아웃 요소 간의 대응을 강제함으로써 구조적 인도적 편향을 도입한다.
• 학습된 어텐션 가중치를 유사도 예측과 요소 수준의 매칭에 모두 활용하여 레이아웃 간에 레이블 전이가 가능하게 한다.
• IoU를 구조적 유사성의 대체 지표로 사용하여 약한 지도 학습 방식으로 모델을 훈련시키며, 모델 아키텍처가 IoU의 구조 인식 부족을 보완하도록 설계된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 픽셀 기반 지표인 IoU보다 인간의 구조적 유사성 인식을 더 잘 반영하는 레이아웃 유사도 메트릭을 학습할 수 있는가?
• RQ2 명시적인 구조적 지도 없이도 어텐션 기반 메커니즘을 갖춘 그래프 매칭 네트워크가 레이아웃 요소 간의 구조적 대응을 어느 정도 학습할 수 있는가?
• RQ3 IoU 임계값을 통한 약한 지도 학습이 픽셀 정렬을 초월해 구조적 레이아웃 유사성에 일반화되는 모델을 훈련시키는 데 얼마나 효과적인가?
• RQ4 LayoutGMN의 어텐션 메커니즘은 기하학적 비일치가 있는 경우에도 한 레이아웃에서 다른 레이아웃으로 레이블을 전이하는 데 사용될 수 있는가?
• RQ5 LayoutGMN은 평면도 및 UI 디자인의 레이아웃 검색 작업에서 최신 기술 기반 GNN 및 이미지 기반 모델을 모두 능가하는가?

주요 결과

• LayoutGMN은 대규모 평면도 및 UI 디자인 데이터셋에서 IoU 및 기타 기준 모델보다 높은 Precision@k 점수를 기록하였으며, 간선을 유지할 경우 Precision@10이 11.3%에 이르렀다.
• 모델의 검색 결과는 IoU보다 인간의 구조적 유사성 판단과 더 일치하며, 특히 IoU가 기하학적 비일치로 인해 실패하는 경우에 특히 뚜렷하다.
• 제거 실험 결과에서 그래프 간선, 상자 위치 또는 노드 의미를 제거하면 성능이 크게 떨어지며, 위치 인코딩을 제거할 경우 Precision@1은 15%로 감소한다.
• LayoutGMN은 기하학적 비일치가 있는 레이아웃 간에도 어텐션 기반 요소 매칭을 통해 소스 레이아웃에서 타겟 레이아웃으로 레이블을 성공적으로 전이한다.
• 어 attention 메커니즘이 강력한 요소 수준의 대응을 가능하게 하며, 이는 LayoutGMN이 최대 픽셀 겹침 매칭을 능가하는 레이블 전이 성능을 보여준다.
• 모델의 구조적 편향은 IoU 기반 지도 학습의 구조 인식 부족을 효과적으로 보완하여, 약한 레이블에도 불구하고 의미 있는 구조적 유사도를 학습할 수 있도록 한다.