[논문 리뷰] GPS-Net: Graph Property Sensing Network for Scene Graph Generation

Xin Lin, Changxing Ding외 2명|arXiv (Cornell University)|2020. 03. 29.

Multimodal Machine Learning Applications참고 문헌 41인용 수 9

한 줄 요약

GPS-Net는 시나리오 그래프 생성을 위한 새로운 그래프 성질 감지 네트워크를 제안하며, 간선 방향, 노드 우선순위, 장꼬리 관계 분포를 명시적으로 모델링한다. 방향 인식 메시지 전파 모듈, 노드 우선순위 민감한 손실, 적응형 관계 사전 기반 메커니즘을 도입하여 VG, OI, VRD 벤치마크에서 최신 기술 성능을 달성하며 재현율 및 정확도 지표에서 뚜렷한 향상을 이룬다.

ABSTRACT

Scene graph generation (SGG) aims to detect objects in an image along with their pairwise relationships. There are three key properties of scene graph that have been underexplored in recent works: namely, the edge direction information, the difference in priority between nodes, and the long-tailed distribution of relationships. Accordingly, in this paper, we propose a Graph Property Sensing Network (GPS-Net) that fully explores these three properties for SGG. First, we propose a novel message passing module that augments the node feature with node-specific contextual information and encodes the edge direction information via a tri-linear model. Second, we introduce a node priority sensitive loss to reflect the difference in priority between nodes during training. This is achieved by designing a mapping function that adjusts the focusing parameter in the focal loss. Third, since the frequency of relationships is affected by the long-tailed distribution problem, we mitigate this issue by first softening the distribution and then enabling it to be adjusted for each subject-object pair according to their visual appearance. Systematic experiments demonstrate the effectiveness of the proposed techniques. Moreover, GPS-Net achieves state-of-the-art performance on three popular databases: VG, OI, and VRD by significant gains under various settings and metrics. The code and models are available at \url{https://github.com/taksau/GPS-Net}.

연구 동기 및 목표

• 시나리오 그래프의 미처 다루지 않은 성질인 간선 방향, 노드 우선순위, 장꼬리 관계 분포를 해결하기 위함.
• 이 세 성질을 통합된 딥 러닝 프레임워크 내에서 명시적으로 모델링하여 시나리오 그래프 생성(SGG) 성능을 향상시키기 위함.
• 특히 저빈도 관계에 대해 발생하는 클래스 불균형 문제를 적응형 빈도 사전 조정을 통해 완화하기 위함.
• 기존 SGG 파이프라인에 통합될 수 있는 미분 가능하고 효율적이며 효과적인 모듈을 설계하기 위함.

제안 방법

• 간선 방향을 인코딩하고 노드별 맥락 특징을 생성하기 위해 터커 분해 기반의 삼선형 모델을 사용하는 방향 인식 메시지 전파(DMP) 모듈을 도입한다.
• DMP 모듈에서 확보한 맥락 정보를 향상시키기 위해 트랜스포머 레이어를 활용하여 특징 표현을 개선한다.
• 각 노드의 삼중조 빈도에 기반해 집중 파rameter를 동적으로 조정하는 노드 우선순위 민감한 손실(NPS-loss)을 제안하며, 학습 중 영향력이 큰 노드를 우선시한다.
• 장꼬리 관계 분포를 부드럽게 하기 위해 로그-소프트맥스 함수를 사용하고, 시각적 외관에 기반해 주어진 주어-목적어 쌍에 대해 사전 기반을 적응적으로 조정하는 주목력 기반 메커니즘을 도입한다.
• 메시지 전파 중 간선 방향의 불확실성을 반영하기 위해 DMP에서 스택 연산을 사용하여 강건성을 향상시킨다.
• 기존의 비미분 가능 방법과 달리, 미분 가능하고 볼록한 손실 함수를 사용하여 경사 하강법을 통한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시나리오 그래프의 간선 방향을 효과적으로 인코딩하여 노드 표현과 관계 예측 성능을 향상시킬 수 있는가?
• RQ2 학습 가능한 손실 함수를 통한 노드 우선순위 모델링이 장꼬리 SGG 벤치마크에서 성능 향상에 얼마나 기여하는가?
• RQ3 관계의 빈도 분포를 부드럽게 하고 적응적으로 조정하면 장꼬리 데이터가 SGG에 악영향을 미치는 것을 완화할 수 있는가?
• RQ4 제안된 모듈(DMP, NPS-loss, ARM)이 표준 SGG 벤치마크에서 개별적으로나 종합적으로 성능 향상에 기여하는 방식은 어떠한가?

주요 결과

• GPS-Net는 Visual Genome(VG), Open Images(OI), Visual Relationship Detection(VRD) 데이터셋에서 최신 기술 성능을 달성하며, VCTREE 및 CMAT와 같은 이전 방법들을 능가한다.
• VG에서 GPS-Net은 SGCLS Recall@100에서 RelDN 대비 5.5% 절대적 향상을 기록했고, 세 가지 평가 프로토콜에서 평균 2.5% 향상을 기록했다.
• OpenImages에서 GPS-Net은 RelDN 대비 가중 점수를 2.4% 향상시켰으며, 희귀 카테고리 'wears'의 경우 APrel에서 24.5%의 격차를 기록했고, 'hits'의 경우 20.6% 향상되었다.
• 절단 실험을 통해 DMP, NPS-loss, ARM 각각의 구성 요소가 뚜렷한 기여를 한다는 것이 확인되었으며, DMP는 GCMP 및 S-GCMP를 능가하고, NPS-loss에서 μ=4일 때 최고의 성능을 기록했다.
• NPS-loss는 집중 파rameter를 빈도 기반으로 조정함으로써 노드 우선순위를 명시적으로 모델링함으로써 표준 포칼 손실을 능가한다.
• DMP에서의 스택 연산은 다양한 지표에서 일관되게 성능 향상을 이끌어내어 간선 방향 불확실성을 다루는 데서의 역할을 입증한다.