[논문 리뷰] Learning event representations for temporal segmentation of image sequences by dynamic graph embedding

Mariella Dimiccoli, Herwig Wendt|arXiv (Cornell University)|2019. 10. 08.

Human Pose and Action Recognition참고 문헌 73인용 수 10

한 줄 요약

이 논문은 동적 그래프 임bedding(DGE)를 제안하며, 저프레임레트 이미지 시퀀스에서 시간 분할을 위해 자기지도 학습 방법을 통해 이벤트 표현을 학습한다. 이는 동적 그래프 구조와 그 저차원 임베딩을 동시에 최적화함으로써 이루어진다. 기존 자기지도 학습 방법들과 달리 DGE는 학습 데이터가 필요로 하지 않으며, 반복적으로 그래프 기반 유사도와 임베딩을 개선하여 의미적 관계와 시간적 관계를 모두 포착한다. EDUBSeg 및 EDUBSeg-Desc에서 각각 F-스코어 0.72와 0.80을 기록하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Recently, self-supervised learning has proved to be effective to learn representations of events suitable for temporal segmentation in image sequences, where events are understood as sets of temporally adjacent images that are semantically perceived as a whole. However, although this approach does not require expensive manual annotations, it is data hungry and suffers from domain adaptation problems. As an alternative, in this work, we propose a novel approach for learning event representations named Dynamic Graph Embedding (DGE). The assumption underlying our model is that a sequence of images can be represented by a graph that encodes both semantic and temporal similarity. The key novelty of DGE is to learn jointly the graph and its graph embedding. At its core, DGE works by iterating over two steps: 1) updating the graph representing the semantic and temporal similarity of the data based on the current data representation, and 2) updating the data representation to take into account the current data graph structure. The main advantage of DGE over state-of-the-art self-supervised approaches is that it does not require any training set, but instead learns iteratively from the data itself a low-dimensional embedding that reflects their temporal and semantic similarity. Experimental results on two benchmark datasets of real image sequences captured at regular time intervals demonstrate that the proposed DGE leads to event representations effective for temporal segmentation. In particular, it achieves robust temporal segmentation on the EDUBSeg and EDUBSeg-Desc benchmark datasets, outperforming the state of the art. Additional experiments on two Human Motion Segmentation benchmark datasets demonstrate the generalization capabilities of the proposed DGE.

연구 동기 및 목표

• 자기지도 학습의 한계, 특히 1인칭 이미지 시퀀스에서의 데이터 소비 문제와 도메인 적응 문제를 해결하기 위해.
• 어떤 종류의 애너테이션된 학습 데이터도 필요로 하지 않고, 단일 이미지 시퀀스에서 직접 이벤트 표현을 학습하는 방법을 개발하기 위해.
• 공동으로 학습된 그래프 구조와 저차원 임베딩을 통해 이미지 시퀀스에서 의미적 유사성과 시간적 유사성을 모델링하기 위해.
• 이 방법이 에고세트릭 영상 외의 다양한 영상 도메인으로 일반화될 수 있음을 보여주기 위해, 인간 운동 분할 벤치마크에 적용하기 위해.

제안 방법

• DGE는 프레임을 노드로, 시간적 근접성과 고수준 시각적 특징 기반의 의미적 유사성을 모두 표현하는 간선을 가진 동적 그래프로 이미지 시퀀스를 모델링한다.
• 이 방법은 현재의 프레임 표현에 기반해 그래프 구조를 반복적으로 업데이트하고, 현재 그래프 구조를 사용해 프레임 임베딩을 개선한다.
• 그래프 구축은 시간적 유사성과 의미적 유사성의 조합을 사용한 k-근접 이웃 접근 방식을 사용하며, 의미적 유사성은 딥 특징을 통해 계산된다.
• 임베딩 학습 단계는 그래프 구조를 유지하는 정규화된 목적 함수를 최소화하며, 그래프 라플라시안 기반의 손실 함수를 사용한다.
• 알고리즘은 수렴할 때까지 그래프 업데이트와 임베딩 업데이트 단계를 번갈아 수행하며, 시간적 유사성과 의미적 유사성의 균형을 조절하는 하이퍼파라미터가 포함된다.
• 의미적 유사성 추정에는 k-means의 변형이 사용되며, 구성 요소의 기여도를 검증하기 위해 아블레이션 연구가 수행된다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법이 학습 데이터나 애너테이션 없이도 효과적인 이벤트 표현을 학습할 수 있는가?
• RQ2 고정된 그래프 또는 사전 학습된 임베딩 접근 방식과 비교해, 그래프 구조와 임베딩을 함께 학습함으로써 표현 품질이 어떻게 향상되는가?
• RQ3 제안된 DGE 모델이 인간 운동 분할과 같은 다른 영상 도메인으로 얼마나 잘 일반화되는가?
• RQ4 강건한 분할을 위해 그래프 구축에서 시간적 유사성과 의미적 유사성 중 어느 측면이 더 중요한가?
• RQ5 기준 벤치마크 데이터셋에서 경계 검출 정확도 측면에서 DGE는 최신 기술 수준의 방법들과 어떻게 비교되는가?

주요 결과

• DGE는 EDUBSeg 데이터셋에서 F-스코어 0.72를 기록했으며, 이는 이전 최신 기술 수준보다 1%p 향상된 성능이다. EDUBSeg-Desc에서는 F-스코어 0.80을 달성하여 8%p 향상되었다.
• 아블레이션 연구 결과, DGE의 핵심 구성 요소 중 하나를 제거하면 성능이 최대 3%p 하락함을 확인했다. 예를 들어 시간 우선순위, 의미적 유사성, 또는 그래프 정규화를 제거할 경우이다.
• Keck 및 MAD 인간 운동 분할 벤치마크에서 DGE는 최신 기술 수준의 클러스터링 정확도(0.72 및 0.67)와 정규화된 상호정보량(0.83 및 0.82)을 달성하여 강력한 일반화 능력을 입증했다.
• EDUBSeg 데이터셋(18,735 프레임)에 대해 표준 데스크톱에서 약 2분 내에 실행되며, 실용적인 계산 가능성을 보여준다.
• 도메인 특화 학습 데이터에 의존하지 않기 때문에, 카메라 시점의 변화나 생활 방식의 다양성에 대해 강건함을 입증했다.
• 그래프와 임베딩의 공동 최적화는 임베딩 공간에서 의미적으로 유사한 프레임들이 조밀한 클러스터를 이룬다는 점에서 더 일관된 이벤트 표현을 이끌어낸다.