Jewon Kang

본 연구는 인공지능 딥 러닝 기술을 적용한 알고리즘을 구축해, 2017년 19대 대선 기간에 진행된 TV토론 자료 중 정치인들의 표정 및 응시방향을 분석했다. TV토론에서 후보들이 보여준 비언어적 메시지, 구체적으로 표정(분노, 짜증, 만족, 무표정)과 응시방향을 분석하기 위해 딥 러닝 기술을 이용해 분류 네트워크 알고리즘을 구축하고 6차례의 토론 데이터를 분석했다. 또한 영상분석결과를 패널 설문조사 데이터와 통합하여 TV토론에서 후보들이 보여준 표정의 비율에 따라 후보에 대한 호감도 평가가 어떻게 달라지는지 다층모형 분석을 실시했다. 연구 결과, 문재인 후보가 만족스러운 표정을 가장 많이 지었고 유승민 후보는 무표정한 얼굴로 감정을 잘 드러내지 않았다. 다층모형 분석결과, 긍정적 이미지인 만족스러운 표정은 후보의 호감도를 더 긍정적으로 평가하도록 유의한 영향을 미쳤는데, 변화의 폭은 투표를 하지 않은 그룹보다 투표를 한 그룹에서 더 크게 나타났다. 지상파, 종합편성채널, 온라인 미

Versatile Video Coding (H.266/VVC) is the newest video coding standard jointly developed by the Joint Video Experts Team (JVET), which is organized by the ITU-T Video Coding Experts Group (VCEG) and the ISO/IEC Moving Picture Experts Group (MPEG). H.266/VVC provides about 40% bitrate reduction compared with High Efficiency Video Coding (H.265/HEVC) for the same visual quality. This paper introduces in detail the core structure of H.266/VVC by highlighting its features within block partitioning s

최근 폭발적으로 증가하는 영상 콘텐츠로 인해 대량의 영상 데이터에 효과적으로 접근하기 위한 지능형 검색 기술이 필수적이다. 하지만 기존의 키워드 기반 영상 검색 기술은 한계가 존재한다. 사전에 추출된 메타 데이터와 키워드에 의존하기 때문에 복잡한 상황이나 추상적인 개념을 표현하기 어려웠고, 사용자 의도를 정확히 반영하지 못하는 경우가 많았다. 이에 본 연구에서는 생성형 AI 기술과 멀티모달 사전학습 모델을 융합한 새로운 영상 검색 시스템을 제안한다. 생성형 이미지 모델을 통해 텍스트로 표현하기 어려운 복잡한 상황이나추상적 개념을 구체화한 가이드 이미지를 생성할 수 있다. 또한 대규모 데이터로 사전 학습된 멀티모달 모델을 활용하여 텍스트, 이미지,비디오 데이터를 동일 의미 공간에 정렬시켜 유사도를 측정한다. 제안 기술에서는 사용자 텍스트 입력과 생성 이미지 가이드를 조합하여지능형 시멘틱 검색을 수행한다. 이를 통해 기존 방식이 가진 한계를 극복하고 사용자의 의도에 부합하는 검색 결과를

본 논문에서는 3차원 비디오 압축을 위한 표준으로서 3D-AVC와 3D-HEVC에 채택된 주위 블록의 변위 벡터정보를 이용한 블록 기반의 변위 벡터 추정 기법 (Neighboring block-based disparity vector, NBDV)을 설명하고성능을 평가하여 분석한다. NBDV에서는 시간적 공간적으로 인접한 주위 블록에서 부호화를 완료한 변위 움직임벡터 (disparity motion vector)를 이용하여 변위 벡터로 변환한다. 변위 벡터는 인접 시점에서 현재 블록에 대응하는 블록을 지시하는 벡터로 시점간 통계적 연관성을 이용함으로써 3차원 동영상의 부호화 효율을 증대하는데 중요한 기능을 제공한다. 제안 기술은 저 복잡도와 동일 화질에서 약 20%의 부호화 효율 증가, 그리고 네트워크 내미디어 게이트웨이의 효율적인 동작을 제공하는 텍스쳐 비디오 우선 부호화 방식을 지원하여 3차원 비디오 압축표준 기술로 최종 채택되었다.

Multispectral Image dataset with Lighting Diversity (MILD) dataset comprises 15-channel MS images captured under various illumination conditions, ranging from mono-wavelength light sources to indoor illuminants such as D65 and fluorescent lighting. Thus, the MILD dataset can facilitate research on illumination estimation across diverse lighting environments on MS domains.

본 연구에서는 19대 대선 TV토론에 나타난 각 후보자들의 등장빈도, 표정, 응시방향이 방송뉴스에 어떻게 프레임되어 보도되었는지 연구하였다. 본 연구에서는 방법론적으로 심층 학습(deep learning)기반 동영상 처리 알고리즘을 통해 후보자들의 등장빈도, 표정과 응시방향을 분석하였다. TV토론에 등장하는 5명의 후보들의 이미지에 대한 자동 학습으로, 이들의 얼굴을 인식, 분류할 수 있게 한 후, 이들의 표정과 응시방향 역시 자동으로 컴퓨터가 자동으로 인식할 수 있도록 하였다. 이렇게 개발된 자동분석 알고리즘을 방송뉴스 이미지와 TV토론 영상에 적용 및 비교분석하여, 방송뉴스가 TV토론을 어떻게 보도했는지, 균형성과 진실성 측면에서 분석하였다. 방송뉴스의 분석결과, 채널별로 후보들이 등장한 빈도는 모두 다르게 나타났다. 대체적으로 심상정 후보가 많이 보도되었고, 문재인 후보가 가장 적게 보도되었다. 표정과 응시에 대한 보도에서도 후보자별 편차가 존재했다. 문재인 후보의 경우, 만족

본 논문에서는 컨볼루션 신경망 네트워크를 이용하여 VVC 화면 내 예측으로 얻은 예측 블록을 개선하여 잔차 신호를 보다 줄이는 화면 내 예측 방법을 제안한다. 기존의 화면 내 예측 방법은 일부 고정 규칙을 기반으로 주변의 재구성된 참조 샘플로부터 예측 블록을 생성하므로 복잡한 콘텐츠의 예측 블록을 생성하기 어렵다는 한계가 있다. 또한, 참조 샘플로 이용할 수 있는 정보의 양이 시간적 주변 정보에 비해 적기 때문에 화면 간 예측보다 낮은 부호화 성능을 가진다. 본 연구에서는 앞서 언급한 문제를 해결하기 위해 기존의 비디오 부호화 과정의 화면 내 예측을 통해 생성되는 예측 블록에 CNN을 적용하여 원본 블록과 예측 블록의 차분 신호를 줄이는 화면 내 예측 방법을 제안한다. 부호기에서는 제안 알고리즘의 활성 여부를 나타내는 플래그가 함께 부호화된다. 제안하는 화면 내 예측 방법은 최신 비디오 압축 표준인 Versatile Video Coding의 참조 모델인 VTM version 10.0

The current video question answering (video QA) models tend to produce inaccurate results, when key video features are obscured by a large amount of redundant video data. In this paper, we newly define the problems as “spatial redundancy” and “temporal redundancy” in video QA and develop an effective appearance and motion features to resolve the drawbacks. Wegenerate a motion feature from adjacent appearance features to distinguish meaningful events in adjacent frames. Further,question-to-video

로보틱스, 웨어러블 디바이스, 확장현실/가상현실(AR/VR)의 확산으로 3차원(3D) 공간을 배경으로 사용자와 상호작용하며 미디어 서비스를 제공하는 공간 미디어에 대한 관심이 높아지고 있다. 공간 미디어에서는 사용자의 위치와 행동이 주변 공간의 구조 정보와 통합되며, 인공지능 모델이 공간에 대한 설명, 질의응답, 콘텐츠 생성 등과 같은 서비스를 제공하는 새로운 미디어 패러다임을 제공하는것이 가능하다. 본 논문은 이러한 공간 미디어 응용의 핵심적인 기술이 되는 언어 생성 기반 3D 장면 이해를 중심으로 관련 연구를체계적으로 정리한다. 먼저 대표적 데이터셋과 3D 장면 이해에서의 언어 생성 태스크를 정의하고, 최신 방법들을 단일 과제 학습과다중 과제 학습으로 분류하여 정리한다. 이어서 최신 모델들의 성능을 비교 및 평가하고, 마지막으로 기존 연구의 한계를 논의하며 향후 연구 방향을 제시한다.

With the recent surge in video content on digital platforms, there has been active research into applying the inference capabilitiesof large multimodal models (LMMs) to video understanding. However, the conventional approaches process videos as static framesequences, resulting in ineffective utilization of temporal relationships between frames, which limits efficiency and performance. Toaddress this issue, this study proposes a dynamic token compression module based on a selective state space mo

최근 동영상 압축에 관한 국제 표준화 기구인 JCT-VC (Joint Collaborative Team on Video Coding) 에서는 High Efficiency Video Coding (HEVC)의 확장 표준으로 HEVC/Range Extension (HEVC/RExt)의 개발을 완료하고 스크린 콘텐츠 동영상의 부호화 기술을 위한 표준인 HEVC/Screen Content Coding (HEVC/SCC)을 제정 중이다. 기존 동영상 압축 과정에서는 이미지 센서로부터 취득한 RGB 영상을 변환하여 부호화를 수행하는 반면에 애니매이션, 그래픽스 등 컴퓨터로 합성한 영상을 일컫는 스크린 콘텐츠의 경우는 색 공간의 변환이 주관적 화질을 심각하게 열화 시킬 수 있으므로 기존 RGB 색 공간을 유지하며 효율적으로 색 공간 내 정보의 중복성을 줄이기 위한 부호화 기법이 필요하다. 본 논문에서는 HEVC/RExt.와 HEVC/SCC에서 개발한 스크린 콘텐츠 동영상 압축을 위한 색 요소 예

Recently, as the demand for immersive videos increases, efficient video processing techniques for omnidirectional immersive video is actively developed by MPEG-I. While the omnidirectional video provides a larger degree of freedom for a free viewpoint, the size of the video increases significantly. Furthermore, in order to compress 6 degree-of-freedom (6 DoF) videos that support motion parallax, it is required to develop a codec to yield better coding efficiency. In this paper, we develop a 6 Do

그래픽스 등 컴퓨터로 합성한 영상을 일컫는 스크린 콘텐츠 비디오의 경우는 색대비가 높은 그래픽 요소로 인하여 예측 후에도 잔차 신호의 공간적 연관성이 여전히 높게 나타나므로 현 샘플의 가장 인접한 화소를 이용하는 residual differential pulse-code modulation (RDPCM) 기법을 효율적으로 적용할 수 있다. 본 논문에서는 잔차 신호의 주위 인접 화소의 가중 합으로 보다 정확한 예측의 RDPCM을 수행하는 부호화 기법을 제안한다. 각 가중 계수는 현재 잔차 신호의 인접 영역에서 왜곡 값에 정규화를 포함한 비용함수를 최소화 하여 추정한다. 제안 기법은 스크린 콘텐츠 동영상 압축 참조 코덱 대비 약 3.1%의 부호화 성능 향상을 보인다.

Multispectral Image dataset with Lighting Diversity (MILD) dataset comprises 15-channel MS images captured under various illumination conditions, ranging from mono-wavelength light sources to indoor illuminants such as D65 and fluorescent lighting. Thus, the MILD dataset can facilitate research on illumination estimation across diverse lighting environments on MS domains.

최근 차세대 국제 비디오 압축 표준 제정에 딥러닝을 이용하여 비디오 부호화 효율을 향상시키기 위한 다양한 시도가 이루어지고 있다. 본 논문에서는 참조프레임 리스트에 포함된 복원 프레임을 이용하여 현재 프레임의 가상 참조프레임을 딥러닝으로 생성하여 화면 간 예측 부호화에 이용하는 알고리즘을 제안한다. 실험에 따르면 제안 알고리즘은 HEVC 참조 소프트웨어 대비 Random Access 실험 환경에서 평균 1.9%의 BD-rate 감소 효율을 제공한다.